IC-Light - 智能打光/换场景AI工具，Github开源，本地部署，一键启动，ControlNet之父张吕敏再降神迹！！！Clipdrop Relight最佳平替，遥遥领先~

IC-Light 是Controlnet的作者张吕敏刚刚放出来的项目。代码上传时间还在几个小时之前，这一消息却已经引爆AI圈，大家纷纷惊呼：神作！！

一、IC-Light 是什么？

ControlNet 之父张吕敏推出了名为 IC-Light 的控制图像照明光影融合模型。这一模型能够基于文本条件和背景条件重新照明图像，为图像编辑和增强提供了全新的视角和工具。

IC-Light项目旨在通过先进的机器学习技术，对图像的照明条件进行操纵，从而实现一致的光照效果。它提供了两种类型的模型：文本条件重照明模型和背景条件模型，两者均以前景图像作为输入。该技术的重要性在于它能够在不依赖复杂提示的情况下，通过简单的文本描述或背景条件，实现对图像照明的精确控制，这对于图像编辑、增强现实、虚拟现实等领域具有重要意义。

二、IC-Light 的网站地址：

1、Github开源地址：

https://github.com/lllyasviel/IC-Light

2、HuggingFace试用地址：

https://huggingface.co/spaces/lllyasviel/IC-Light

三、IC-Light 的功能特性：

1. 文本条件模型： 用户可以输入文本提示词（如“左侧光线”、“日光”），模型通过这些提示词和初始潜变量生成具有特定光照方向和特征的图像。 例如用户输入提示词“阳光从窗口射入、温馨氛围、卧室”，并选择光照方向“左侧”。模型将生成具有左侧光照效果的图像，模拟阳光从左侧窗户射入的温暖氛围。
2. 背景条件模型： 通过结合背景提示信息，可以对前景物体进行不同风格的光照变化，而无需复杂的提示词。 只需提供简单的描述，如“电影般的灯光”，即可轻松生成图像。模型根据提示和背景生成适当光照的前景图像，使人物与背景的光照匹配，呈现电影风格。
3. 一致的照明： 利用HDR（高动态范围）图像中光线传播的独立性，使不同光源的混合效果与混合光源产生的效果一致。该方法通过在模型训练期间引入MLP（多层感知器）来实现一致的光照，使模型能够产生具有高度一致性的重照明效果。 例如：用户选择多个不同的光照方向（如左侧光、右侧光、底部光），模型将产生一致的光照效果，甚至可以合并生成法线图。这表明模型通过潜变量空间实现了不同光源的混合效果。
4. 潜变量空间训练：通过潜变量空间的训练，模型能学习到不同光照的映射关系，实现重照明效果的一致性。利用这种一致性特性，甚至可以将不同重照明效果合并成法线图。

四、IC-Light 的技术原理：

1. 光线独立性：
   • 在HDR（高动态范围）空间中，光线传输彼此独立，不同光源的混合效果与多光源同时出现的效果是相同的。
   • 这一特性使得不同光源组合的图像外观与多光源直接作用下的外观在数学上（理想的HDR空间）是一致的。
2. 一致性建模：
   • 项目中使用多层感知机（MLP）在潜在空间中确保不同光源的组合和传输具有一致性。
   • 在训练模型时，通过确保光照一致性来指导生成效果，产生高度一致的重新光照结果。
3. 模型结果：
   • 由于模型使用潜在扩散技术，可以在潜在空间内实现学习和重光照操作，从而在各种光照条件下产生高度一致的效果。
   • 这些结果非常一致，甚至可以将不同光照条件下的结果合并为法线图，尽管模型在训练时没有直接使用法线图数据。
   • 图像输出包括输入图像、模型输出的重光照效果、分离的阴影图像以及合并的法线图。
4. 一致性实验：
   • 实验中展示的“appearance mixture”（外观混合）和“light source mixture”（光源混合）的图像在HDR空间内应该是一致的。
   • 项目通过潜在空间的一致性，确保模型输出在不同光源组合下具有一致性，从而可以稳定地合成各种光照效果。

五、IC-Light 的案例展示：

提示：美丽的女人，细致的脸，温暖的气氛，在家，卧室

照明偏好：左

提示：美丽的女人，细致的脸，窗外的阳光

照明偏好：左

美丽的女人，细致的脸庞，霓虹灯，王家卫，温暖

照明偏好：左

提示：美女、细致的脸庞、阳光、户外、温馨的氛围

照明偏好：右

提示：美女、细致的脸庞、阳光、户外、温馨的氛围

照明偏好：左

提示：美丽的女人，细致的脸，窗外的阳光

照明偏好：右

提示：美丽的女人，细致的脸，窗外的影子

照明偏好：左

提示：美丽的女人，细致的脸，海上的日落

照明偏好：右

提示：帅气的男孩，细致的脸庞，霓虹灯，城市

照明偏好：左

提示：美丽的女人，细致的脸庞，光影

照明偏好：左

（美丽的女人，细致的脸，柔和的工作室灯光）

提示：佛像、细致的脸部、科幻RGB发光、赛博朋克

照明偏好：左

提示：佛像、面部细节、自然采光

照明偏好：左

提示：玩具、细致的面孔、海上日落

照明偏好：右

提示：狗、魔法灯光、科幻 RGB 发光、工作室灯光

照明偏好：底部

提示：神秘的人性、温馨的氛围、温馨的氛围、在家、卧室

照明偏好：右

背景条件模型：背景条件模型不需要仔细提示。只需使用“帅哥、电影灯光”等简单提示即可。

更结构化的可视化：

六、如何使用IC-Light？

为了让更多用户能够轻松体验这一技术，我们将IC-Light打包成了一键启动包。现在，您无需繁琐地配置Python环境，只需简单点击即可启动程序，从而避免了潜在的环境配置问题。

操作系统：Windows 10/11 64位，显卡：8GB显存以上的NVIDIA显卡

1. 下载压缩包，解压到电脑D盘，最好不要有中文路径；
2. 解压后点击启动.bat文件即可运行（文件可能会被误杀，请添加为信任）；
3. 浏览器访问：http://127.0.0.1:7860，它会自动在浏览器中打开应用，界面如下：