一、IDM-VTON 是什么？
IDM-VTON（Improved Diffusion Models for Virtual Try-ON）是由韩国科学技术院和OMNIOUS.AI的研究人员提出的一种先进的AI虚拟试穿技术，通过改进扩散模型来生成逼真的人物穿戴图像，实现更真实的虚拟试穿效果。该技术包含两个关键组件：一是视觉编码器，用于提取服装图像的高级语义信息；二是GarmentNet，一个并行UNet网络，用于捕捉服装的低级细节特征。IDM-VTON还引入了详细的文本提示，以增强模型对服装特征的理解，从而提升生成图像的真实度。
二、IDM-VTON 的网站地址：
1、论文地址：
https://arxiv.org/abs/2403.05139
2、Github仓库：
https://github.com/yisol/IDM-VTON
3、HuggingFace试用地址：
https://huggingface.co/spaces/yisol/IDM-VTON
4、项目地址：
三、IDM-VTON 的技术概述：
本文考虑基于图像的虚拟试穿，在给定一对分别描绘人和衣服的图像的情况下，渲染穿着精选服装的人的图像。与其他方法（例如，基于 GAN）相比，之前的工作采用现有的基于样本的修复扩散模型进行虚拟试穿，以提高生成的视觉效果的自然度，但它们无法保留服装的身份。为了克服这一限制，我们提出了一种新颖的扩散模型，可以提高服装保真度并生成真实的虚拟试穿图像。我们的方法被称为 IDM-VTON，使用两个不同的模块来编码服装图像的语义；给定扩散模型的基础 UNet，1）将从视觉编码器提取的高级语义融合到交叉注意力层，然后 2）将从并行 UNet 提取的低级特征融合到自注意力层层。此外，我们还为服装和人物图像提供详细的文字提示，以增强生成视觉效果的真实性。最后，我们提出了一种使用一对人物服装图像的定制方法，该方法显着提高了保真度和真实性。我们的实验结果表明，我们的方法在保留服装细节和生成真实的虚拟试穿图像方面（无论是定性还是定量）都优于以前的方法（基于扩散和基于 GAN）。此外，所提出的定制方法证明了其在现实场景中的有效性。我们的项目页面提供了更多可视化效果。
Pipeline概述（左）： 我们的模型由1）TryonNet组成，它是处理人物图像的主要UNet，2）图像提示适配器（IP-Adapter），用于编码服装图像的高级语义，3）GarmentNet，用于编码低级功能。作为 UNet 的输入，我们将人物图像潜在的噪声潜在与分割掩模、掩模图像和 Densepose 连接起来。我们为服装提供详细的标题（例如，[V]：“短袖圆领 T 恤”）。然后用于GarmentNet（例如，“[V]的照片”）和TryonNet（例如，“模特穿着[V]”）的输入提示。
注意力模块的详细信息（右）： 我们演示了所提出的模型架构和注意力模块的详细信息。 TryonNet 和 GarmentNet 的中间特征被连接并传递到自注意力层，我们使用输出的前半部分（即来自 TryonNet 的部分）。然后我们通过交叉注意力层将输出与文本编码器和 IP 适配器的特征融合。我们微调 TryonNet 和 IP-Adapter 模块，并冻结其他组件。
四、IDM-VTON 的换装案例：
1、多人穿着同一件衣服
VITON-HD 和 DressCode 数据集的定性结果。 IDM-VTON 能够生成高保真图像并识别服装的精细细节。多人穿着同一件衣服，显示出衣服细节的一致性。
2、户外虚拟试穿
为了实现野外虚拟试穿（即现实世界场景），我们从互联网和社交媒体平台收集服装图像以及穿着每件服装的人的多个图像。
IDM-VTON 生成的图像在现实场景中具有高度的服装一致性。即使背景复杂或人物姿势多样，也可以生成高质量的图像。
| 模特 | 变装1 | 变装2 | 变装3 | 变装4 |
 |  |  |  | |
 |  |  |  |  |
 |  |  |  |  |
 |  |  |  |  |
 |  |  |  |  |
五、IDM-VTON的功能特点：
- 真实的虚拟试衣体验：通过改进的扩散模型，IDM-VTON能够在各种自然场景中，实现衣物与人体的精准融合，保持衣物的纹理、颜色和形状，同时考虑身体姿势、光照条件等因素，让试衣效果更加真实可信。
- 支持不同数据集和配置：IDM-VTON支持多种数据集，如VITON-HD和DressCode，这允许它能够处理不同类型和样式的服装。此外，还提供了灵活的配置选项，用户可以根据自己的需求调整图像的宽高、推理步骤数、输出目录、批次大小等参数。
- 易于使用的演示和推理脚本：项目提供了在线演示和简单的推理脚本，用户不需要深入了解背后的技术细节，即可轻松体验虚拟试衣效果或在自己的数据集上运行模型。
- 开放源代码和训练资源：虽然目前尚未提供训练代码，但IDM-VTON已开放了推理代码及相关环境设置，有兴趣的研究人员和开发者可以基于此进一步探索和开发。
六、IDM-VTON的应用场景
- 电子商务和零售：在线服装店可以集成IDM-VTON技术，让顾客上传自己的照片，即时看到衣物穿在自己身上的效果，从而提高购买欲望和满意度。
- 个性化推荐和广告：品牌可以利用IDM-VTON为用户提供个性化的服装试穿体验，通过更加直观的展示方式提升广告效果。
- 社交媒体和娱乐：用户可以使用IDM-VTON技术，将自己“穿上”电影、电视剧中的服装，或者尝试各种时尚搭配，用于社交媒体的分享和互动。
- 设计和定制：服装设计师可以利用这项技术预览设计在真人上的效果，为客户提供更多定制化的选项。
七、IDM-VTON的技术优势:
- 用户便利: 用户无需亲自试穿即可预览服装效果。
- 零售商成本节约: 节省实体试衣间的成本，提供多样化试衣体验。
- 设计师反馈: 设计师可以通过虚拟试衣快速获取反馈，优化设计。
八、如何使用IDM-VTON?
打开HuggingFace试用地址即可免费使用：https://huggingface.co/spaces/yisol/IDM-VTON
