audio.cpp

Whisper是OpenAI开源的通用语音识别模型，能够将语音音频自动转录为文字文本，支持多达99种语言的识别。该模型在68万小时的多语言音频数据上训练，具备出色的鲁棒性和泛化能力，能够处理各种真实场景下的语音输入。Whisper采用编码器-解码器Transformer架构，支持语音识别、语音翻译、语言识别等多种任务。模型提供从tiny到large的多个规模版本，适应不同的精度和速度需求。作为目前最强大的开源语音识别模型之一，Whisper被广泛应用于字幕生成、会议记录、语音助手等场景。

GPT-SoVITS是一个开源的语音合成与声音克隆工具，支持通过少量语音样本实现高质量的声音克隆和文本转语音。它结合了GPT模型和SoVITS（基于Singing Voice的变声技术），仅需1分钟的训练音频即可克隆目标声音，支持中英日多语言合成。该工具提供了Web界面和API接口，支持实时语音合成和流式输出，广泛应用于配音、有声读物、虚拟主播等场景。

Coqui TTS是由Coqui AI开发的开源深度学习文本转语音工具包，提供了一套完整、易用的TTS开发框架。该项目集成了多种先进的语音合成模型架构，包括Tacotron、VITS、Glow-TTS等，用户可以方便地训练和部署自定义语音模型。Coqui TTS支持多语言语音合成、语音克隆、语音转换等高级功能，提供了统一的API接口和命令行工具。项目社区活跃，文档完善，是目前开源TTS领域最受欢迎的工具包之一，广泛应用于语音助手、有声内容、无障碍服务等场景。

ChatTTS 是由 2noise 开发的开源对话式语音合成模型，专为日常对话场景优化。支持中英双语，能生成包含笑声、停顿、语气词等自然对话元素的语音，让合成语音更接近真人对话效果。采用 10 万小时以上数据训练，提供精细的韵律控制能力，适合聊天机器人、语音助手等需要自然对话语音的应用场景。