生成式人工智能技术已成为业界的焦点,它能够根据文本提示创造出图像或视频。目前的先进模型依赖于一个耗时的扩散过程来生成单一图像,可能需要5秒钟,并且要多次调用庞大的神经网络。因此,研究的热点是如何在保证图像质量的同时,加快图像的生成速度。
一、SDXL-Lightning是什么?
SDXL-Lightning 模型是从 Stability AI 的 stable-diffusion-xl-base-1.0 模型中,使用了一种结合渐进式和对抗式蒸馏的扩散蒸馏方法提炼出来的。渐进式蒸馏使提炼后的模型能保留原模型的图像风格和种类,对抗式蒸馏则用于提升图像生成质量,二者结合使 SDXL-Lightning 在图像的快速生成和高质量、多样化之间找到了一个平衡点, 使其在快速出图的同时,依旧能保持较高的图像质量,并且能够覆盖广泛的图像模式。
下面是官方给出的对比图,可以看到 SDXL-Lightning 在 2-8 步之间的生成效果都不错,8 步时质量最稳定,甚至与 SDXL 模型 32 步的生成效果不相上下;即使在 4 步的条件下,在图像质量以及风格多样性也比 Turbo 和 LCM 模型好很多。
二、SDXL-Lightning的官方在线体验地址:
https://huggingface.co/spaces/AP123/SDXL-Lightning
三、SDXL vs Lightning vs Turbo 的快速比较工具:
https://anotherjesse.com/posts/sdxl-lightning/
四、在 ComfyUI 中使用 SDXL-Lightning 模型
1、模型地址:
https://huggingface.co/ByteDance/SDXL-Lightning/tree/main
2、官方工作流:
https://huggingface.co/ByteDance/SDXL-Lightning/tree/main/comfyui
字节跳动目前已经放出了 SDXL-Lightning 完整的模型和工作流资源,模型包括 Checkpiont 和 Lora 两种。
Checkpiont 模型分为 1step、2step、4step、8step 四款,1step 虽然出图速度最快,但效果不稳定,所以推荐使用 4step 或 8step,下面以 4step 模型为例,讲解一下基础用法。
- 首先下载 sdxl_lightning_4step.safetensors 大模型,安装到根目录的 models/checkpoints 文件夹中(如果是和 SD WebUI 共享资源,则放到 WebUI 的根目录中)。
- 将 ComfyUI 更新到最新版本,然后把 comfyui_sdxl_lightning_workflow_full 工作流留拖入界面中。
- 需要确认的设置有:① Ksampler 中得生成步数要与你选择的大模型保持一致,这里我载入的是 4step 大模型,所以生成步数设置为 4 步;② 推荐使用 Euler 采样器与 sgm_uniform 调度器。
- 设置完成后就能生成了,经测试生成一张 1024*1024 px 的图片只需要 6 秒,并且质量非常高。
除了官方的 4 个大模型,开源社区中 DreamShaperXL 大模型也已经有了 Lightning 微调版本,并且其图像质量及风格美学在一定程度上优于官方模型。如果想使用它,工作流同上,对应的参数设置为:CFG 为 2,采样步数 3-6,采样器必须为 DMP++ SED Karras,尺寸推荐 1024 px。
SDXL Lightning Lora 模型则有 3 款:2step、4step 和 8step,它们可以与其他任意 SDXL 大模型搭配,在提升出图速度的同时保持原模型的风格。具体工作流如下(文末有资源包),使用前需要先下载一个 LightningLlora 模型并安装到根目录的 models/lora 文件夹中 。
我使用的是动漫风大模型 CounterfeitXL 和 Lightning_4step_lora 模型, 生成一张 768*1024px 图像的时间为 4s,图像在风格与细节上与原模型几乎没有差别,只在颜色上不如原来明亮了,但可以通过添加 VAE 模型来改善这个问题。 如此短的时间内实现这样高的质量,Lightning lora 的作用还是非常惊人的,它可以有效提升我们使用 XL 大模型的效率。
五、如何在本地使用SDXL-Lightning?
为了让更多用户能够轻松体验这一技术,我们将SDXL-Lightning打包成了一键启动包。现在,您无需繁琐地配置Python环境,只需简单点击即可启动程序,从而避免了潜在的环境配置问题。
- 下载压缩包,解压到电脑D盘,最好不要有中文路径;
- 解压后点击 启动.bat 文件即可运行;
- 浏览器访问:http://127.0.0.1:7860/,即可免费使用SDXL-Lightning。