跳到正文
2026.10.17 · 周六

#语音

#语音

模型

新模型、模型版本、权重开放、模型能力与价格变化的发布与评测结果

10月16日周五
  1. Hugging Face Blog74

    Granite Switch 4.1 在一个端点中整合聊天、决策与语音

    IBM 发布了 Granite-Switch-4.1-8B 和 -30B,通过一个托管端点整合了聊天、通用决策 aLoRA、专用 Guardian aLoRA,以及 Granite-Speech-5.0-Turbo-CTC 转录功能。IBM 表示,组合模型使用的 GPU VRAM 与基础模型大致相同,因为适配器会复用基础模型的 KV 缓存。用户还可以使用 Granite Libraries 适配器组合自定义 Switch 模型;IBM 计划推出用于在 Mellea 中训练适配器的 Adapter SDK。

    推荐理由:共享 KV 缓存和模块化适配器提供了一种切实可行的方法,可将通用决策、专用决策与转录功能结合起来,同时让 GPU 内存用量接近基础模型。

10月14日周三
  1. Artificial Analysis · X78

    Fish Audio 的 Drama 3 Preview 在 Artificial Analysis TTS 排名中领先开放权重模型

    Artificial Analysis 报告称,Fish Audio 的 Drama 3 Preview 在其全部三个文本转语音排行榜中均位列开放权重模型第 1,并在所有模型的发音稳健性排名中领先。其发音稳健性得分为 93.2%,高于 Eleven v4 的 91.7% 和 Eleven v4 Turbo 的 90.1%;在 Provider Voice 中排名第 10,在 Controlled Voice 中排名第 14。其权重可在 Hugging Face 上获取,遵循 Fish Audio Community License;Fish Audio API 的价格为每 100 万字符 15 美元。

    推荐理由:该比较将发音稳健性与语音偏好排名区分开来,展示了 Drama 3 Preview 在一项指标上的领先优势与其在其他排名中的位置有何不同。

10月2日周五
  1. Mustafa Suleyman · X66

    微软 AI 推出 MAI-Transcribe-2-Streaming,在 AA-WER Streaming 准确率排名中位居榜首

    微软 AI 即将推出 MAI-Transcribe-2-Streaming,Mustafa Suleyman 称其为全球最准确的实时转录模型。 他声称,该模型比 ElevenLabs 快 55%、便宜 60%,并邀请开发者在微软平台上构建智能体。 在引用的帖子中,Artificial Analysis 报告称,该模型在 AA-WER Streaming 的最终转录和首个部分转录准确率排名中均位列第一;语音结束后 0.13 秒,最终转录的 WER 为 2.5%,流式转录定价为每小时音频 0.54 美元。

    推荐理由:引用的基准测试对比将转录准确率与延迟和定价放在一起,为读者在为智能体选择流式语音模型时提供了具体的权衡依据。

9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。

9月23日周三
  1. Logan Kilpatrick · X71

    Google 发布 Gemini 3.8 Flash 与 Flash-Lite TTS 语音模型

    Google 发布 Gemini 3.8 Flash 和 Flash-Lite TTS 文本转语音模型,官方称其为新的 SOTA 语音模型。该模型提供新的音色设计体验、2000+ 可直接用于生产的音色、语音克隆、100 种语言支持,语音混音功能即将推出,并称在 Hume AI 的语音基准上排名第一。

    推荐理由:Google 发布 Gemini 3.8 Flash 与 Flash-Lite TTS,给出 2000+ 音色、100 种语言和语音克隆等能力清单。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与深度创作控制,后者面向高并发配音和语音智能体。

    推荐理由:原文给出两款 TTS 模型的语音克隆、逐行导演能力与基准排名,可据此判断语音生成在配音和播客场景的可用度。

  3. Qwen · X71

    阿里发布 Qwen-Audio-3.1 音频模型系列,含 TTS-Next 与 ASR-Next

    阿里发布 Qwen-Audio-3.1,ASR、TTS 与 Realtime 全面升级,并新增 TTS-Next 和 ASR-Next 两个模型,共五个模型覆盖音频理解、生成、交互与创作。

    推荐理由:原文列出五个音频模型的能力分工与降价幅度,读者可据此判断语音栈的选型与成本变化。

9月16日周三
  1. Logan Kilpatrick · X72

    Google 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 实时音频模型

    Google 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款新的 SOTA 实时音频模型,主打前沿价格与性能。3.8 Live 支持 97 种语言并可无缝切换,还支持异步工具调用等能力。

    推荐理由:Google 发布新一代实时音频模型,给出语言覆盖与异步工具调用等能力,可据此判断实时语音交互的可用边界。

  2. Google DeepMind82

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking

    Google DeepMind 发布两款实时语音对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,前者面向规模化与成本效率,后者面向高复杂度任务与多步推理。

    推荐理由:两款实时语音模型给出并行推理与工具调用能力,并列出多项语音基准成绩,可据此判断语音智能体的可用边界。

  3. Google DeepMind · X77

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking

    Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking,称其为目前最好的对话式 AI。官方表示这两款模型可以对话、思考并在后台处理任务,而不打断用户当前的工作流。

    推荐理由:Google DeepMind 发布对话模型新版本,读者可了解其在实时对话与后台任务处理上的能力定位。

8月27日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型

    Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可将原始音频直接转为准确、格式化文本。

    推荐理由:官方给出流式与非流式两套 API 的 WER 数据,并对比上一代 Chirp 3,可据此判断语音转写在实际工作流中的可用性。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言开源权重模型,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多个既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,可据此评估自建语音链路的延迟预算。

6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型

    Google DeepMind 发布 Gemini 3.5 Live Translate,这是一款支持 70 多种语言的近实时语音到语音翻译音频模型,能自动检测语言并保留说话人的语调、节奏和音高。

    推荐理由:Gemini 3.5 Live Translate 把同传从逐句等待改为连续生成,并给出开发者、企业、消费端三条落地路径。

4月16日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性、表现力和音质的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览、在 Vertex AI 面向企业预览,并通过 Google Vids 向 Workspace 用户开放。

    推荐理由:官方给出音频标签的用法与多语言覆盖范围,读者可据此判断语音生成的可控程度。

3月24日周二
  1. Mistral AI62

    Mistral AI 发布 Voxtral TTS 语音合成模型

    Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与低延迟特性。

    推荐理由:原文给出 4B 参数、9 种语言与 70ms 延迟等具体指标,并附与 ElevenLabs 的对比评测,便于判断语音智能体的成本与可用性。

2月5日周四
  1. Mistral AI72

    Mistral 发布 Voxtral Transcribe 2 语音转写模型家族

    Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。

    推荐理由:原文给出两款语音转写模型的延迟、价格与开源许可,读者可据此判断实时语音场景的选型空间。

7月15日周二
  1. Mistral AI78

    Mistral 发布 Voxtral 语音理解模型,24B 与 3B 双版本开源

    Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两种规格,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟音频转写或 40 分钟音频理解,具备内置问答与摘要、多语言自动检测和语音触发函数调用能力,文本能力继承 Mistral Small 3.1。

    推荐理由:Mistral 开源语音理解模型,给出两种规格、Apache 2.0 许可与 API 定价,可据此判断语音转写与理解的选型成本。

已经到底了