Vid2Densepose + MagicAnimate - 一键AI本地整合包，视频生成骨骼动画，一张照片就能生成跳舞视频，抖音小姐姐要失业？

Vid2DensePose 将你的视频转换为 Densepose 序列，并在 MagicAnimate 上使用它，MagicAnimate目前依赖DensePose作为约束，如果想尝试转换自己的视频，需要先生成DensePose序列。我们将Vid2Densepose + MagicAnimate 制作成一键启动包，点击即可使用，

一、Vid2Densepose

1、Vid2Densepose是什么？

Vid2DensePose 是一款功能强大的工具，旨在将DensePose模型应用于视频，为每个帧生成详细的“部分索引”可视化。该工具对于增强动画特别有用，特别是与 MagicAnimate 结合使用以实现时间一致的人体图像动画。简单来说就是为配合MagicAnimate而量身打造的项目，简直太贴心了有木有！

2、Vid2Densepose的开源地址：

https://github.com/Flode-Labs/vid2densepose

3、Vid2Densepose的在线体验地址：

https://replicate.com/lucataco/vid2densepose

4、Vid2Densepose的主要特征:

• 增强输出：生成以生动的颜色编码格式展示 DensePosedata 的视频文件。
• MagicAnimate 集成：与 MagicAnimate 无缝兼容，以促进先进的人类动画项目。

二、MagicAnimate

1、MagicAnimate是什么？

MagicAnimate 是由新加坡国立大学 Show 实验室和字节跳动联合联合打造，它们提出了一个基于扩散的 AI 动画生成框架，旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。它能够将指定的人物图片与动作相结合，生成视频。MagicAnimate 是基于 StableDiffusion V1.5 基本模型，用户只需输入照片和动作，AI 便会生成相应的视频，从目前生成的效果来说还比较粗糙，但随着技术发展，之后取代抖音小姐姐也并非空想。关于 MagicAnimate 具体技术细节可进入项目主页。

仅仅需要一张图片加上动作轨迹，就可以生成非常自然且丝滑的视频，无论是钢铁侠跳舞还是奥特曼跑步都可以轻轻松松的制作出来，并且没有闪烁衣服上面的褶皱，周围物体上的光线反应，可以说是做的非常完美。

2、MagicAnimate的技术原理：

给定参考图像和目标 DensePose 运动序列，MagicAnimate 采用视频扩散模型和外观编码器分别进行时间建模和身份保留（左图）。为了支持长视频动画，我们设计了一种简单的视频融合策略，可以在推理过程中产生平滑的视频过渡（右图）。

3、MagicAnimate的视频案例：

MagicAnimate 旨在对遵循运动序列的参考图像进行动画处理，并具有时间一致性。

5、MagicAnimate的网站地址：

论文地址：https://arxiv.org/pdf/2311.16498.pdf

项目地址：https://showlab.github.io/magicanimate/

GitHub 地址：https://github.com/magic-research/magic-animate

在线体验地址：https://huggingface.co/spaces/zcxu-eric/magicanimate

三、如何使用Vid2Densepose + MagicAnimate？

为了让更多用户能够轻松体验这一技术，我们将Vid2Densepose + MagicAnimate打包成了一键启动包。现在，您无需繁琐地配置Python环境，只需简单点击即可启动程序，从而避免了潜在的环境配置问题。

1. 下载压缩包，解压到电脑D盘，最好不要有中文路径；
2. 解压后点击启动.bat文件即可运行（文件可能会被误杀，请添加为信任）；
3. 浏览器访问：http://127.0.0.1:7860/，即可正常使用。