多功能的即时语音克隆AI工具,只需要参考说话者的一个简短的音频剪辑即可复制他们的声音并生成多种语言的语音。除了复制参考说话者的音色之外,OpenVoice 还可以对语音风格进行精细控制,包括情感、口音、节奏、停顿和语调。OpenVoice还可以针对海量说话人训练集中未包含的语言实现零样本跨语言语音克隆。OpenVoice 的计算效率也很高,其成本比性能较差的商用 API 低数十倍。
一、OpenVoice的开源地址:
1、GIthub仓库:
https://github.com/myshell-ai/OpenVoice
2、官网地址:
https://research.myshell.ai/open-voice
3、论文地址:
https://arxiv.org/abs/2312.01479
二、OpenVoice功能特色:
1、准确的音色克隆
OpenVoice 可以准确克隆参考音色并生成多种语言和口音的语音。
参考音频:
克隆音频:
2、灵活的语音风格控制
OpenVoice 可以对语音风格(例如情感和口音)以及其他风格参数(包括节奏、停顿和语调)进行精细控制。在这里,我们演示了对生成声音的情感和口音的控制。
参考音频:
克隆音频:
3、零样本跨语言语音克隆
参考语音和生成的语音可以是海量说话人多语言数据集之外的任何语言。在下面的例子中,我们使用“U”来表示未见过的语言。
参考音频:
克隆音频:
4、与最先进的技术对比
参考音频:
克隆音频:
三、如何使用OpenVoice?
为了让更多用户能够轻松体验这一技术,我们将OpenVoice打包成了一键启动包。现在,您无需繁琐地配置Python环境,只需简单点击即可启动程序,从而避免了潜在的环境配置问题。
1、下载压缩包,解压到电脑D盘,最好不要有中文路径;
2、解压后点击启动.exe文件即可运行(文件可能会被误杀,请添加为);
3、浏览器访问:http://127.0.0.1:7860/,即可正常使用。