ProPainter是一个基于E2FGVI实现的AI视频编辑工具，它可以一键移除视频内的移动物体和水印。这个开源项目提供了一个简单而强大的解决方案，帮助用户轻松编辑和改善视频内容。
一、ProPainter是什么？
ProPainter 是一个用于视频修复的先进模型。它结合了增强的传播和 Transformer 机制，能够快速高效地进行视频修复、对象去除、水印去除等任务。ProPainter 通过双域传播和稀疏 Transformer 来提升性能和效率，能够在保持良好效果的同时大幅提升 PSNR 值 1.46 dB。该模型适用于广泛的视频修复场景，定价灵活合理。
二 、ProPainter的项目地址：
1、论文地址：
https://arxiv.org/abs/2309.03897
https://openaccess.thecvf.com/content/ICCV2023
2、Github仓库：
https://github.com/sczhou/ProPainter
3、项目地址：
https://shangchenzhou.com/projects/ProPainter/
4、在线体验：
https://huggingface.co/spaces/sczhou/ProPainter
三、ProPainter的主要功能特点：
基于流的传播和时空 Transformer 是视频修复（VI）中的两种主流机制。尽管这些组件非常有效，但它们仍然存在一些影响其性能的限制。以前基于传播的方法是在图像或特征域中单独执行的。与学习隔离的全局图像传播可能会因光流不准确而导致空间错位。此外，内存或计算限制限制了特征传播和视频 Transformer 的时间范围，从而阻止了从远处帧探索对应信息。为了解决这些问题，我们提出了一个改进的框架，称为 ProPainter ，其中涉及增强的ProPagtion和 高效的Transformer。具体来说，我们引入了双域传播，它结合了图像和特征扭曲的优点，可靠地利用了全局对应关系。我们还提出了一种掩模引导的稀疏视频变换器，它通过丢弃不必要和冗余的标记来实现高效率。借助这些组件，ProPainter 的 PSNR 性能比现有技术高出 1.46 dB，同时保持了令人瞩目的效率。
ProPainter 包含三个关键组件：循环流完成、双域传播和掩模引导稀疏 Transformer。首先，我们采用高效的循环流完成网络来完成损坏的流场。然后，我们在联合训练的图像域和特征域中执行传播。这种方法使我们能够探索全局和局部时间框架的对应关系，从而产生更可靠和有效的传播。随后的掩模引导稀疏 Transformer 块使用时空注意力细化传播的特征，并辅以仅考虑令牌子集的稀疏策略。这可以提高效率并减少内存消耗，同时保持性能。
四、ProPainter的功能特点：
1、去除移动物体/人物
ProPainter使用先进的E2FGVI技术，可以智能地检测和移除视频中的移动物体。这对于去除不需要的元素或错误的特效非常有用。
2、去除视频水印
ProPainter还可以一键移除视频中的水印，使得用户可以更好地保护自己的视频内容或进行二次编辑。
3、简单易用
ProPainter提供了直观的用户界面，使得用户可以轻松导入和编辑视频。只需几个简单的步骤，就可以完成视频编辑的过程。
4、高效快速
ProPainter利用了先进的AI技术，可以在短时间内处理大量的视频内容。这使得用户可以更高效地完成视频编辑任务。
五、ProPainter的功能演示：
1、视频扩展
2、人物移除
3、水印去除
4、视频完成
六、如何使用ProPainter？
为了让更多用户能够轻松体验这一技术，我们将ProPainter打包成了一键启动包。现在，您无需繁琐地配置Python环境，只需简单点击即可启动程序，从而避免了潜在的环境配置问题。
操作系统：Windows 10/11 64位，显卡：12GB显存以上的NVIDIA显卡。
1、下载和安装：
- 下载压缩包，解压到电脑D盘，最好不要有中文路径；
- 解压后点击启动.bat文件即可运行（文件可能会被误杀，请添加为信任）；
- 浏览器访问：http://127.0.0.1:7860/，即可正常使用。
2、导入视频：
打开ProPainter软件，点击导入按钮，选择要编辑的视频文件并导入到软件中。
3、移除移动物体/人物：
在软件界面中，选择移除移动物体的功能，并根据需要进行设置。然后，点击开始处理按钮，ProPainter将自动检测和移除视频中的移动物体。
4、移除水印：
如果需要移除视频中的水印，选择移除水印的功能，并进行相应的设置。然后，点击开始处理按钮，ProPainter将自动移除视频中的水印。
5、导出编辑后的视频：
编辑完成后，点击导出按钮，选择输出视频的格式和保存路径。然后，点击开始导出按钮，ProPainter将生成编辑后的视频文件。
