跳到正文
2026.10.17 · 周六

#语音

#语音

10月16日周五
  1. Hugging Face Blog74

    Granite Switch 4.1 在一个端点中整合聊天、决策与语音

    IBM 发布了 Granite-Switch-4.1-8B 和 -30B,通过一个托管端点整合了聊天、通用决策 aLoRA、专用 Guardian aLoRA,以及 Granite-Speech-5.0-Turbo-CTC 转录功能。IBM 表示,组合模型使用的 GPU VRAM 与基础模型大致相同,因为适配器会复用基础模型的 KV 缓存。用户还可以使用 Granite Libraries 适配器组合自定义 Switch 模型;IBM 计划推出用于在 Mellea 中训练适配器的 Adapter SDK。

    推荐理由:共享 KV 缓存和模块化适配器提供了一种切实可行的方法,可将通用决策、专用决策与转录功能结合起来,同时让 GPU 内存用量接近基础模型。

10月14日周三
  1. Artificial Analysis · X78

    Fish Audio 的 Drama 3 Preview 在 Artificial Analysis TTS 排名中领先开放权重模型

    Artificial Analysis 报告称,Fish Audio 的 Drama 3 Preview 在其全部三个文本转语音排行榜中均位列开放权重模型第 1,并在所有模型的发音稳健性排名中领先。其发音稳健性得分为 93.2%,高于 Eleven v4 的 91.7% 和 Eleven v4 Turbo 的 90.1%;在 Provider Voice 中排名第 10,在 Controlled Voice 中排名第 14。其权重可在 Hugging Face 上获取,遵循 Fish Audio Community License;Fish Audio API 的价格为每 100 万字符 15 美元。

    推荐理由:该比较将发音稳健性与语音偏好排名区分开来,展示了 Drama 3 Preview 在一项指标上的领先优势与其在其他排名中的位置有何不同。

10月2日周五
  1. Mustafa Suleyman · X66

    微软 AI 推出 MAI-Transcribe-2-Streaming,在 AA-WER Streaming 准确率排名中位居榜首

    微软 AI 即将推出 MAI-Transcribe-2-Streaming,Mustafa Suleyman 称其为全球最准确的实时转录模型。 他声称,该模型比 ElevenLabs 快 55%、便宜 60%,并邀请开发者在微软平台上构建智能体。 在引用的帖子中,Artificial Analysis 报告称,该模型在 AA-WER Streaming 的最终转录和首个部分转录准确率排名中均位列第一;语音结束后 0.13 秒,最终转录的 WER 为 2.5%,流式转录定价为每小时音频 0.54 美元。

    推荐理由:引用的基准测试对比将转录准确率与延迟和定价放在一起,为读者在为智能体选择流式语音模型时提供了具体的权衡依据。

9月30日周三
  1. Hugging Face Blog60

    Hugging Face 发布 Open TTS Leaderboard,用客观指标评测多语言 TTS 与语音克隆

    Hugging Face 发布 Open TTS Leaderboard,用 WER/CER、RTFx、TTFA 和说话人相似度等客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。

    推荐理由:Hugging Face 用客观指标替代投票式评测,读者可了解开源 TTS 模型在多语言与语音克隆上的横向对比方式。

9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。

9月24日周四
  1. Greg Brockman · X82

    ChatGPT Voice 升级:可用插件并接入 ChatGPT Work

    ChatGPT Voice 迎来升级,现在可以使用邮件、日历、Slack 等插件,并接入 ChatGPT Work,在网页端和移动端通过语音创建文档、演示文稿、网站和表格,或处理浏览器中的复杂任务。该功能由 GPT-6 Astra、Sol 和 Luna 驱动,今天起随最新版应用在全球推送。

    推荐理由:ChatGPT Voice 接入邮件、日历、Slack 等插件并进入 Work,读者可据此判断语音入口能承接哪些工作流。

9月23日周三
  1. Logan Kilpatrick · X71

    Google 发布 Gemini 3.8 Flash 与 Flash-Lite TTS 语音模型

    Google 发布 Gemini 3.8 Flash 和 Flash-Lite TTS 文本转语音模型,官方称其为新的 SOTA 语音模型。该模型提供新的音色设计体验、2000+ 可直接用于生产的音色、语音克隆、100 种语言支持,语音混音功能即将推出,并称在 Hume AI 的语音基准上排名第一。

    推荐理由:Google 发布 Gemini 3.8 Flash 与 Flash-Lite TTS,给出 2000+ 音色、100 种语言和语音克隆等能力清单。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与深度创作控制,后者面向高并发配音和语音智能体。

    推荐理由:原文给出两款 TTS 模型的语音克隆、逐行导演能力与基准排名,可据此判断语音生成在配音和播客场景的可用度。

  3. Qwen · X71

    阿里发布 Qwen-Audio-3.1 音频模型系列,含 TTS-Next 与 ASR-Next

    阿里发布 Qwen-Audio-3.1,ASR、TTS 与 Realtime 全面升级,并新增 TTS-Next 和 ASR-Next 两个模型,共五个模型覆盖音频理解、生成、交互与创作。

    推荐理由:原文列出五个音频模型的能力分工与降价幅度,读者可据此判断语音栈的选型与成本变化。

9月16日周三
  1. Logan Kilpatrick · X72

    Google 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 实时音频模型

    Google 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款新的 SOTA 实时音频模型,主打前沿价格与性能。3.8 Live 支持 97 种语言并可无缝切换,还支持异步工具调用等能力。

    推荐理由:Google 发布新一代实时音频模型,给出语言覆盖与异步工具调用等能力,可据此判断实时语音交互的可用边界。

  2. Google DeepMind82

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking

    Google DeepMind 发布两款实时语音对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,前者面向规模化与成本效率,后者面向高复杂度任务与多步推理。

    推荐理由:两款实时语音模型给出并行推理与工具调用能力,并列出多项语音基准成绩,可据此判断语音智能体的可用边界。

  3. Google DeepMind · X77

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking

    Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking,称其为目前最好的对话式 AI。官方表示这两款模型可以对话、思考并在后台处理任务,而不打断用户当前的工作流。

    推荐理由:Google DeepMind 发布对话模型新版本,读者可了解其在实时对话与后台任务处理上的能力定位。

9月10日周四
  1. OpenAI News65

    OpenAI 在 API 中推出 GPT-Live-1 语音模型

    OpenAI 在 API 中推出 GPT-Live-1,为开发者带来自然的全双工语音对话能力。该模型在指令遵循上更强,并支持自定义音色和电话(telephony)接入。

    推荐理由:GPT-Live-1 把全双工语音对话能力开放到 API,读者可据此判断语音应用的接入方式与能力边界。

8月28日周五
  1. Hugging Face Blog60

    Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon

    Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该多语言榜单上的首个印度语言。

    推荐理由:Open ASR Leaderboard 首次纳入印地语与印度英语评测集,读者可看到基准如何把说话人属性纳入公开评测。

8月27日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型

    Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可将原始音频直接转为准确、格式化文本。

    推荐理由:官方给出流式与非流式两套 API 的 WER 数据,并对比上一代 Chirp 3,可据此判断语音转写在实际工作流中的可用性。

8月21日周五
  1. Hugging Face Blog60

    Hugging Face 研究如何测量语音识别中的基准优化

    Hugging Face 发布研究,用共识分歧、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。

    推荐理由:研究给出三种可复现的探测方法,量化了 ASR 模型复现基准错误转录的程度,对评测设计有直接参考。

8月12日周三
  1. Google Research72

    Google 研究团队将 AMIE 推进到专家级音视频临床问诊

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并实时进行诊断推理。

    推荐理由:AMIE 从纯文本扩展到实时视频问诊,读者可了解异步多智能体架构如何兼顾对话延迟与临床推理。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言开源权重模型,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多个既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,可据此评估自建语音链路的延迟预算。

7月15日周三
  1. Hugging Face Blog62

    Hume 发布 Real World VoiceEQ:衡量语音 AI 的人类质量

    Hume 发布 Real World VoiceEQ 基准,用于评估语音交互的人类质量,覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标,涵盖 ASR、TTS、S2S 和语音理解。

    推荐理由:Hume 用超百万条人工评分构建语音 AI 基准,揭示现有指标为何高估真实对话表现。

7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 接入实时语音 AI

    Hugging Face 与 Cerebras 演示了一套实时语音到语音管线,用 Cerebras 加速 Gemma 4 31B 的推理,把语音交互延迟压到更接近自然对话。

    推荐理由:原文给出了一条可替换的实时语音到语音开源管线,读者可据此判断低延迟语音交互的工程组合方式。