myshell-ai/OpenVoice
GitHub: myshell-ai/OpenVoice
OpenVoice 是由 MIT 和 MyShell 联合开发的即时语音克隆框架，支持零样本跨语言克隆与精细的语音风格控制。
Stars: 36445 | Forks: 4074
[论文](https://arxiv.org/abs/2312.01479) |
[网站](https://research.myshell.ai/open-voice)
## 介绍
### OpenVoice V1
正如我们在[论文](https://arxiv.org/abs/2312.01479)和[网站](https://research.myshell.ai/open-voice)中详述的那样，OpenVoice 的优势有三点：
**1. 精准的音色克隆。**
OpenVoice 能够精准克隆参考音色，并支持生成多种语言和口音的语音。
**2. 灵活的语音风格控制。**
OpenVoice 实现了对语音风格的精细控制，例如情感和口音，以及其他风格参数，包括节奏、停顿和语调。
**3. 零样本跨语言语音克隆。**
生成的语音语言和参考语音语言均不需要出现在海量的多说话人多语言训练数据集中。
### OpenVoice V2
2024 年 4 月，我们发布了 OpenVoice V2，它包含了 V1 的所有功能，并具有：
**1. 更好的音质。**
OpenVoice V2 采用了不同的训练策略，从而提供了更好的音质。
**2. 原生多语言支持。**
OpenVoice V2 原生支持英语、西班牙语、法语、中文、日语和韩语。
**3. 免费商用。**
自 2024 年 4 月起，V2 和 V1 均在 MIT 许可证下发布。可免费用于商业用途。
[视频](https://github.com/myshell-ai/OpenVoice/assets/40556743/3cba936f-82bf-476c-9e52-09f0f417bb2f)
自 2023 年 5 月以来，OpenVoice 一直在为 [myshell.ai](https://app.myshell.ai/explore) 提供即时语音克隆能力。截至 2023 年 11 月，该语音克隆模型已被全球用户使用了数千万次，并见证了平台上用户的爆发式增长。
## 如何使用
详细说明请参见[使用指南](docs/USAGE.md)。
## 常见问题
常见问题与解答请参见[QA](docs/QA.md)。我们将定期更新问答列表。
## 引用
```
@article{qin2023openvoice,
title={OpenVoice: Versatile Instant Voice Cloning},
author={Qin, Zengyi and Zhao, Wenliang and Yu, Xumin and Sun, Xin},
journal={arXiv preprint arXiv:2312.01479},
year={2023}
}
```
## 许可证
OpenVoice V1 和 V2 均采用 MIT 许可证。可免费用于商业和研究用途。
## 致谢
本实现基于几个优秀的项目：[TTS](https://github.com/coqui-ai/TTS)、[VITS](https://github.com/jaywalnut310/vits) 和 [VITS2](https://github.com/daniilrobnikov/vits2)。感谢他们出色的作品！
标签：AI语音克隆, AI配音, IPv6支持, MIT协议, MyShell, TTS, 人工智能, 凭据扫描, 即时声音克隆, 声音转换, 声音风格控制, 多语言语音合成, 开源模型, 情感控制, 深度学习, 用户模式Hook绕过, 语音合成, 语音生成, 跨语种克隆, 跨语言语音合成, 逆向工具, 零样本学习, 音色克隆, 音色生成, 音频基础模型, 音频处理