当前位置:首页>AI工具>AI绘画>SDXL-Light - 目前最快文生图AI模型,让AI出图速度提升 10 倍!

SDXL-Light - 目前最快文生图AI模型,让AI出图速度提升 10 倍!

生成式人工智能技术已成为业界的焦点,它能够根据文本提示创造出图像或视频。目前的先进模型依赖于一个耗时的扩散过程来生成单一图像,可能需要5秒钟,并且要多次调用庞大的神经网络。因此,研究的热点是如何在保证图像质量的同时,加快图像的生成速度。

SDXL-Light - 目前最快文生图AI模型,让AI出图速度提升 10 倍!

一、SDXL-Lightning是什么?

SDXL-Lightning 模型是从 Stability AI 的 stable-diffusion-xl-base-1.0 模型中,使用了一种结合渐进式和对抗式蒸馏的扩散蒸馏方法提炼出来的。渐进式蒸馏使提炼后的模型能保留原模型的图像风格和种类,对抗式蒸馏则用于提升图像生成质量,二者结合使 SDXL-Lightning 在图像的快速生成和高质量、多样化之间找到了一个平衡点, 使其在快速出图的同时,依旧能保持较高的图像质量,并且能够覆盖广泛的图像模式。

下面是官方给出的对比图,可以看到 SDXL-Lightning 在 2-8 步之间的生成效果都不错,8 步时质量最稳定,甚至与 SDXL 模型 32 步的生成效果不相上下;即使在 4 步的条件下,在图像质量以及风格多样性也比 Turbo 和 LCM 模型好很多。

SDXL-Light - 目前最快文生图AI模型,让AI出图速度提升 10 倍!

二、SDXL-Lightning的官方在线体验地址:

https://huggingface.co/spaces/AP123/SDXL-Lightning

https://fastsdxl.ai/

三、SDXL vs Lightning vs Turbo 的快速比较工具: 

https://anotherjesse.com/posts/sdxl-lightning/

四、在 ComfyUI 中使用 SDXL-Lightning 模型

1、模型地址:

https://huggingface.co/ByteDance/SDXL-Lightning/tree/main

2、官方工作流:

https://huggingface.co/ByteDance/SDXL-Lightning/tree/main/comfyui

字节跳动目前已经放出了 SDXL-Lightning 完整的模型和工作流资源,模型包括 Checkpiont 和 Lora 两种。

Checkpiont 模型分为 1step、2step、4step、8step 四款,1step 虽然出图速度最快,但效果不稳定,所以推荐使用 4step 或 8step,下面以 4step 模型为例,讲解一下基础用法。

  1. 首先下载 sdxl_lightning_4step.safetensors 大模型,安装到根目录的 models/checkpoints 文件夹中(如果是和 SD WebUI 共享资源,则放到 WebUI 的根目录中)。
  2. 将 ComfyUI 更新到最新版本,然后把 comfyui_sdxl_lightning_workflow_full 工作流留拖入界面中。
  3. 需要确认的设置有:① Ksampler 中得生成步数要与你选择的大模型保持一致,这里我载入的是 4step 大模型,所以生成步数设置为 4 步;② 推荐使用 Euler 采样器与 sgm_uniform 调度器。
  4. 设置完成后就能生成了,经测试生成一张 1024*1024 px 的图片只需要 6 秒,并且质量非常高。
SDXL-Light - 目前最快文生图AI模型,让AI出图速度提升 10 倍!

除了官方的 4 个大模型,开源社区中 DreamShaperXL 大模型也已经有了 Lightning 微调版本,并且其图像质量及风格美学在一定程度上优于官方模型。如果想使用它,工作流同上,对应的参数设置为:CFG 为 2,采样步数 3-6,采样器必须为 DMP++ SED Karras,尺寸推荐 1024 px。

SDXL Lightning Lora 模型则有 3 款:2step、4step 和 8step,它们可以与其他任意 SDXL 大模型搭配,在提升出图速度的同时保持原模型的风格。具体工作流如下(文末有资源包),使用前需要先下载一个 LightningLlora 模型并安装到根目录的 models/lora 文件夹中 。

我使用的是动漫风大模型 CounterfeitXL 和 Lightning_4step_lora 模型, 生成一张 768*1024px 图像的时间为 4s,图像在风格与细节上与原模型几乎没有差别,只在颜色上不如原来明亮了,但可以通过添加 VAE 模型来改善这个问题。 如此短的时间内实现这样高的质量,Lightning lora 的作用还是非常惊人的,它可以有效提升我们使用 XL 大模型的效率。

SDXL-Light - 目前最快文生图AI模型,让AI出图速度提升 10 倍!
SDXL-Light - 目前最快文生图AI模型,让AI出图速度提升 10 倍!

五、如何在本地使用SDXL-Lightning?

为了让更多用户能够轻松体验这一技术,我们将SDXL-Lightning打包成了一键启动包。现在,您无需繁琐地配置Python环境,只需简单点击即可启动程序,从而避免了潜在的环境配置问题。

  1. 下载压缩包,解压到电脑D盘,最好不要有中文路径;
  2. 解压后点击 启动.bat 文件即可运行;
  3. 浏览器访问:http://127.0.0.1:7860/,即可免费使用SDXL-Lightning。
下载权限
查看
  • 免费下载
    评论并刷新后下载
    登录后下载
  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余
1、CNBE.CC所有文章,如无特殊说明或标注,均为本站作者原创发布。
2、任何个人或组织,在未征得作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。
3、如若此作者内容侵犯了原著者的合法权益,可联系客服提交工单进行处理。
4、CNBE.CC内用户所发表的所有内容及言论仅代表其本人,并不反映任何CNBE.CC之意见及观点。
!
你也想出现在这里? 立即联系
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
今日签到
有新私信 私信列表
搜索