一个替代Roop的开源软件,通过AI换脸技术实现简单的面部替换操作。Roop项目由于团队成员不当使用而停更,但其中一位作者开源了新项目FaceFusion,在GitHub上已经获得超过5000星的关注。
一、FaceFusion是什么?
Facefusion是一款最新的开源AI视频/图片换脸项目。项目官方介绍只有一句话,下一代换脸器和增强器。采用了全新的界面设计,可以像Stable Diffuison一样,在网页打开操作页面,更加方便。
FaceFusion可以用于无缝进行视频中的面部交换和修复,以其易用性、速度和能力而脱颖而出。这是一种深度伪造工具,可以将一个人的面部与另一个图像交换。
FaceFusion作为新一代换脸神器,在人脸识别和合成技术方面取得了革命性的突破。它不仅能够处理静态图片,还能够处理动态视频,使得换脸效果更加自然、逼真。同时,它的操作界面简洁明了,易于上手,使得广大用户都能够轻松掌握这一复杂的技术概念。虽然FaceFusion目前还存在一些缺点和不足,但随着技术的不断进步和优化,相信它在未来的应用前景将会更加广阔。
对于普通用户而言,掌握FaceFusion这样的换脸技术不仅可以增加自己的技能储备和娱乐体验,还可以在某些特定场景下发挥实际作用。例如,在制作个性化表情包、头像等方面,FaceFusion可以为用户提供更加丰富的选择和可能性。同时,在影视制作、社交娱乐等领域的应用也将进一步推动换脸技术的发展和创新。
总之,FaceFusion作为新一代换脸神器的代表之一,其先进的人脸识别和合成技术为我们的生活带来了更多的便利和乐趣。随着技术的不断进步和应用场景的不断拓展,我们有理由相信,在未来的日子里,FaceFusion将会为我们带来更多的惊喜和可能。
二、FaceFusion的地址:
1、Github仓库:
https://github.com/facefusion/facefusion
2、官方文档:
https://docs.facefusion.io/installation
3、Discord频道:
三、FaceFusion的工作原理
FaceFusion是一款基于深度学习的人脸识别和合成软件,它通过训练大量的面部数据,能够精确地识别人脸的关键点,进而实现人脸的自动合成。与之前的换脸软件相比,FaceFusion在面部识别的准确性和合成效果上都有了明显的提升。它不仅能够处理静态的图片,还能够处理动态的视频,使得换脸效果更加自然、逼真。
四、FaceFusion的操作流程
使用FaceFusion进行换脸操作非常简单。首先,用户需要上传两张人脸图片,一张是源脸(即要被替换的脸),另一张是目标脸(即要替换成的脸)。然后,FaceFusion会自动进行面部识别,提取出两张人脸的关键点信息。接着,用户可以通过调整参数,如面部角度、表情等,使得源脸和目标脸更好地匹配。最后,FaceFusion会生成一张新的合成图片,其中源脸被替换成了目标脸,但保留了源脸的姿态和表情。
除了静态图片的处理,FaceFusion还能够处理动态视频。用户只需要上传一段包含源脸的视频和目标脸的图片,FaceFusion就能够自动将视频中的源脸替换成目标脸。这种功能在影视制作、社交娱乐等领域具有广泛的应用前景。
五、FaceFusion的优缺点
FaceFusion的优点主要表现在以下几个方面:首先,它采用了先进的深度学习技术,能够实现高度精确的人脸识别和合成;其次,它能够处理动态视频,使得换脸效果更加自然、逼真;最后,它的操作界面简洁明了,易于上手。
然而,FaceFusion也存在一些缺点。例如,由于它需要大量的计算资源来训练模型和处理数据,因此在使用时可能会消耗较多的时间和资源。此外,虽然FaceFusion的合成效果已经非常出色,但在某些极端情况下,如面部遮挡、表情夸张等,仍然可能会出现合成效果不佳的情况。
六、FaceFusion的实际应用
FaceFusion作为一种先进的人脸合成技术,具有广泛的应用前景。在影视制作领域,它可以用于制作特效镜头、虚拟角色等;在社交娱乐领域,它可以用于制作个性化的表情包、头像等;在安全监控领域,它也可以用于人脸识别、身份验证等。
以影视制作为例,传统的影视特效制作往往需要耗费大量的人力和物力资源,而使用FaceFusion则可以大大提高制作效率和质量。通过上传演员的照片或视频片段,制作人员可以轻松地生成虚拟角色或特效镜头,从而实现更加逼真的视觉效果。
在社交娱乐领域,FaceFusion也可以为用户提供更加个性化的服务。用户可以通过上传自己的照片或视频片段,制作出具有个人特色的表情包或头像,从而丰富自己的社交体验。
七、FaceFusion的更新日志:
2024.02.21 Version 2.3.0
- 人脸解析能力升级:现在您可以更精细地控制换脸效果,包括:
- 部分脸替换:选择只替换脸的上半部分或左半部分,保留下半部分或右半部分的原貌。
- 特定区域替换:例如单独替换左眼、嘴巴和鼻子,让眼睛的美丽不再受换脸影响。
- wave2lip 口型同步:引入 wave2lip 处理器,同步口型动作,让视频更加自然。
- 面部对齐改进:通过68比5的标志性变换,提高面部对齐的精确度。
- 新的换脸器模型:增加
uniface_256
模型,为您提供更高质量的换脸选项。 - 默认人脸检测器:集成
yoloface
作为默认的人脸检测器模型,提升检测效率。
优化与改进
- 清理临时资源:在处理前自动清除临时文件,确保每次处理都是从干净的状态开始。
- 人脸调试器项增加信息:调试器现在会显示检测到的人脸的年龄和性别信息。
- 安装程序个性化:更新安装程序,根据不同版本的 CUDA 和 ROCM 提供特定的安装选项。
- 更清晰的 CLI 参数描述:命令行界面的参数描述得到改进,使用起来更加直观。
- 输出视频分辨率强制执行:升级后,将强制执行
--output-video-resolution
参数,确保输出视频的质量。 - 减少处理噪音:降低处理过程中的终端输出噪声,提供更舒适的用户体验。
2024.01.31 Version 2.2.1
- 新增人脸解析功能和万能遮罩功能你现在可以选择替换脸部的某一部分,例如,你可以选择替换上半部分脸,而保留下半部分脸,或者选择替换左半部分脸,而保留右半部分脸。你还可以指定替换脸部的某个部位,如只替换左眼,或者只替换嘴和鼻子。这样,你就不用再担心换脸后眼睛不好看了。
- 模型更新将
restoreformer
替换为最新的restoreformer_plus_plus
模型。 - 错误修复
- 修复了
facefusion.ini
文件缺少部分时的错误。 - 修复了使用
--video-memory-strategy tolerant
时的图像到图像的问题。
- 修复了
2024.01.20 Version 2.2.0
- 彻底解除NSFW限制
- 本地离线版本,无需联网也可使用
- 中文汉化
- 更新最新版依赖组件
- 优化隔离环境
- 显著提高CUDA性能。
- 通过facefusion.ini文件允许默认设置覆盖。
- 将更快的inswapper_128_fp16模型设为默认。
- 添加–video-memory-strategy以在视频内存使用和速度之间进行权衡。
- 在–temp-frame-format参数中添加bmp格式支持。
- 在成功处理后在终端显示处理时间。
- 引入–output-video-preset,默认设置为veryfast。
- 引入–output-video-fps参数。
- 引入–output-video-resolution参数。
- 将–max-memory重命名为–system-memory-limit。
- 修复由于不正确的矩阵转换导致的性别检测错误。
- 修复在多次切换face_debugger_items时出现的渲染问题。
2023.12.31 Version 2.1.3
- 增加直播换脸
- 修复 Windows 下的安装程序选项directml
- 每晚将 CUDA 添加到安装程序
- 在帧处理器更改时刷新参考面
- 修复了基于数字的 CLI 参数的舍入问题
- 在预览中删除虚假的清晰参考面
- 添加面部遮挡遮罩
- 添加具有可选区域的人脸区域遮罩
- 来自多张图像的平均源人脸
- 多处理感知参考面
- 仅使用面部增强器处理参考
- 引入 、 和 日志级别debuginfowarnerror
- 恢复面部对齐与视网膜面部的偏移
- 通过安装程序强制执行虚拟环境
- 根据平台减少安装程序选项
- 添加对安装程序的支持onnxruntime-rocm
- 修复滑块发布时的预览更新
- 修复人脸参考更改的预览更新
- 修复人脸对齐的相似性转换
2023.12.02 Version 2.0.0
- 将`blendface_256`,`simswap_256`和添加`simswap_512_unofficial`到换脸器中
- 添加`gpen_bfr_256`和`restoreformer`到面部增强剂中
- `retinaface`使用或`yunet`模型的高性能人脸检测器
- 为帧增强器添加 ROCM 和 OpenVINNO 支持
- 添加对`webp`图像和`webm`视频的支持
- 将`best-worst`和添加`worst-best`到`–face-analyser-order`
- 引入`face_debugger`可视化边界框、关键点和面罩
- 将`facefusion-pinokio`存储库引入我们的 GitHub 组织
- 介绍`–face-mask-blur`和`–face-mask-padding`论证
- 介绍`–face-detector-size`和`–face-detector-score`论证
- `one`按模式扩展面部选择器
- 消除`insightface`由于手工帧处理造成的依赖
- 删除`tensorflow`和`PIL`依赖双重手工框架分析
- 简化进度条以减少性能损失
- 改进大量人员的参考人脸 UI
- 网络摄像头模式`udp`,`v4l2`现在在 1080p 下稳定 25fps
- 无缝启动和停止网络摄像头输入
- 重命名`–face-recognition`为`–face-selector-mode`
- 重命名`–face-analyser-direction` 为`–face-analyser-order`
- 修复处理后的输出验证
- 将固定范围应用于基于数字的 CLI 参数
- 将计算标准化`–reference-face-distance`为 0-1 范围
- 标准化`–output-path`即使没有指定`–source-path`
- 设置下载查找的 10 秒超时
八、如何使用FaceFusion?
为了让更多用户能够轻松体验这一技术,我们将FaceFusion打包成了一键启动包。现在,您无需繁琐地配置Python环境,只需简单点击即可启动程序,从而避免了潜在的环境配置问题。
- 下载压缩包,解压到电脑D盘,最好不要有中文路径;
- 解压后点击 启动.bat 文件即可运行;
- 浏览器访问:http://127.0.0.1:7860/,即可免费使用FaceFusion。