简介

StyleTTS 2 是一款文本转语音（TTS）模型，使用大型语音语言模型（SLMs）进行风格扩散和对抗训练，实现了人级别的 TTS 合成。它通过扩散模型将风格建模为潜在随机变量，以生成最适合文本的风格，而无需参考语音。此外，我们使用大型预训练的 SLMs（如 WavLM）作为判别器，并结合我们的创新可微持续时间建模进行端到端训练，从而提高了语音的自然度。StyleTTS 2 在单说话人 LJSpeech 数据集上超越了人类录音，并在多说话人 VCTK 数据集上与之匹配，得到了母语为英语的评审人员的认可。此外，当在 LibriTTS 数据集上进行训练时，我们的模型优于先前公开可用的零样本扩展模型。通过展示风格扩散和对抗训练与大型 SLMs 的潜力，这项工作在单个和多说话人数据集上实现了一个人级别的 TTS 合成。

截图

产品特色