
使用场景
开发者可以利用该模型创建一个语音助手,实现语音交互。
研究人员可以使用该模型进行语音识别和语音合成的实验和研究。
教育机构可以将其集成到教学工具中,提高学生对语音技术的理解。
产品特色
语音活动检测(VAD):使用silero VAD v5。
语音转文本(STT):使用Whisper模型,包括蒸馏版本。
语言模型(LM):可以在Hugging Face Hub上选择任何可用的指令模型。
文本转语音(TTS):使用Parler-TTS,支持不同的检查点。
模块化设计:每个组件都作为类实现,可以根据特定需求进行重新实现。
支持服务器/客户端方法和本地方法运行。
使用教程
克隆仓库到本地环境。
安装所需的依赖。
根据需要配置模型参数和生成参数。
选择运行方式:服务器/客户端方法或本地方法。
如果是服务器/客户端方法,先在服务器上运行模型,然后在客户端处理音频输入和输出。
如果是本地方法,使用回环地址运行。
利用Torch Compile优化Whisper和Parler-TTS的性能。
通过命令行使用模型,指定不同的参数来控制不同部分的行为。
精选AI产品推荐

GPT SoVITS
GPT-SoVITS-WebUI是一个强大的零样本语音转换和文本到语音WebUI。它具有零样本TTS、少样本TTS、跨语言支持和WebUI工具等功能。该产品支持英语、日语和中文,提供了集成工具,包括语音伴奏分离、自动训练集分割、中文ASR和文本标注,帮助初学者创建训练数据集和GPT/SoVITS模型。用户可以通过输入5秒的声音样本,即可体验即时的文本到语音转换,还可以通过仅使用1分钟的训练数据对模型进行微调,以提高语音相似度和逼真度。产品支持环境准备、Python和PyTorch版本、快速安装、手动安装、预训练模型、数据集格式、待办事项和致谢。
AI语音合成文本到语音
6.9M

Clone Voice
Clone-Voice是一个带 web 界面的声音克隆工具,可使用任何人类音色,将一段文字合成为使用该音色说话的声音,或者将一个声音使用该音色转换为另一个声音。支持中、英、日、韩、法、德、意等 16 种语言,可在线从麦克风录制声音。功能包括文字到语音和声音到声音转换。优势在于简单易用且无需 N 卡 GPU,支持多种语言,录制声音灵活。产品目前免费使用。
AI语音合成音频合成
4.2M
智启未来,您的人工智能解决方案智库
简体中文