跳到正文
2026.10.17 · 周六

#语音

#语音

一手

模型厂商、公司和研究机构自己发布的消息:官网、官方博客和官方账号。

10月16日周五
  1. Hugging Face Blog74

    Granite Switch 4.1 在一个端点中整合聊天、决策与语音

    IBM 发布了 Granite-Switch-4.1-8B 和 -30B,通过一个托管端点整合了聊天、通用决策 aLoRA、专用 Guardian aLoRA,以及 Granite-Speech-5.0-Turbo-CTC 转录功能。IBM 表示,组合模型使用的 GPU VRAM 与基础模型大致相同,因为适配器会复用基础模型的 KV 缓存。用户还可以使用 Granite Libraries 适配器组合自定义 Switch 模型;IBM 计划推出用于在 Mellea 中训练适配器的 Adapter SDK。

    推荐理由:共享 KV 缓存和模块化适配器提供了一种切实可行的方法,可将通用决策、专用决策与转录功能结合起来,同时让 GPU 内存用量接近基础模型。

9月30日周三
  1. Hugging Face Blog60

    Hugging Face 发布 Open TTS Leaderboard,用客观指标评测多语言 TTS 与语音克隆

    Hugging Face 发布 Open TTS Leaderboard,用 WER/CER、RTFx、TTFA 和说话人相似度等客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。

    推荐理由:Hugging Face 用客观指标替代投票式评测,读者可了解开源 TTS 模型在多语言与语音克隆上的横向对比方式。

9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。

9月23日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与深度创作控制,后者面向高并发配音和语音智能体。

    推荐理由:原文给出两款 TTS 模型的语音克隆、逐行导演能力与基准排名,可据此判断语音生成在配音和播客场景的可用度。

9月16日周三
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking

    Google DeepMind 发布两款实时语音对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,前者面向规模化与成本效率,后者面向高复杂度任务与多步推理。

    推荐理由:两款实时语音模型给出并行推理与工具调用能力,并列出多项语音基准成绩,可据此判断语音智能体的可用边界。

9月10日周四
  1. OpenAI News65

    OpenAI 在 API 中推出 GPT-Live-1 语音模型

    OpenAI 在 API 中推出 GPT-Live-1,为开发者带来自然的全双工语音对话能力。该模型在指令遵循上更强,并支持自定义音色和电话(telephony)接入。

    推荐理由:GPT-Live-1 把全双工语音对话能力开放到 API,读者可据此判断语音应用的接入方式与能力边界。

8月28日周五
  1. Hugging Face Blog60

    Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon

    Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该多语言榜单上的首个印度语言。

    推荐理由:Open ASR Leaderboard 首次纳入印地语与印度英语评测集,读者可看到基准如何把说话人属性纳入公开评测。

8月27日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型

    Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可将原始音频直接转为准确、格式化文本。

    推荐理由:官方给出流式与非流式两套 API 的 WER 数据,并对比上一代 Chirp 3,可据此判断语音转写在实际工作流中的可用性。

8月21日周五
  1. Hugging Face Blog60

    Hugging Face 研究如何测量语音识别中的基准优化

    Hugging Face 发布研究,用共识分歧、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。

    推荐理由:研究给出三种可复现的探测方法,量化了 ASR 模型复现基准错误转录的程度,对评测设计有直接参考。

8月12日周三
  1. Google Research72

    Google 研究团队将 AMIE 推进到专家级音视频临床问诊

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并实时进行诊断推理。

    推荐理由:AMIE 从纯文本扩展到实时视频问诊,读者可了解异步多智能体架构如何兼顾对话延迟与临床推理。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言开源权重模型,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多个既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,可据此评估自建语音链路的延迟预算。

7月15日周三
  1. Hugging Face Blog62

    Hume 发布 Real World VoiceEQ:衡量语音 AI 的人类质量

    Hume 发布 Real World VoiceEQ 基准,用于评估语音交互的人类质量,覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标,涵盖 ASR、TTS、S2S 和语音理解。

    推荐理由:Hume 用超百万条人工评分构建语音 AI 基准,揭示现有指标为何高估真实对话表现。

7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 接入实时语音 AI

    Hugging Face 与 Cerebras 演示了一套实时语音到语音管线,用 Cerebras 加速 Gemma 4 31B 的推理,把语音交互延迟压到更接近自然对话。

    推荐理由:原文给出了一条可替换的实时语音到语音开源管线,读者可据此判断低延迟语音交互的工程组合方式。

6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型

    Google DeepMind 发布 Gemini 3.5 Live Translate,这是一款支持 70 多种语言的近实时语音到语音翻译音频模型,能自动检测语言并保留说话人的语调、节奏和音高。

    推荐理由:Gemini 3.5 Live Translate 把同传从逐句等待改为连续生成,并给出开发者、企业、消费端三条落地路径。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中,该系统 97 个未出现关键错误,医生对其回答的偏好高于现有证据综合工具;在 OpenFDA 的 RxQA 开放式用药问答上超过其他前沿模型。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究计划,给出医生盲评、RxQA 与远程问诊模拟的具体结果,可了解医疗 AI 当前能力边界。

4月16日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性、表现力和音质的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览、在 Vertex AI 面向企业预览,并通过 Google Vids 向 Workspace 用户开放。

    推荐理由:官方给出音频标签的用法与多语言覆盖范围,读者可据此判断语音生成的可控程度。

3月24日周二
  1. Mistral AI62

    Mistral AI 发布 Voxtral TTS 语音合成模型

    Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与低延迟特性。

    推荐理由:原文给出 4B 参数、9 种语言与 70ms 延迟等具体指标,并附与 ElevenLabs 的对比评测,便于判断语音智能体的成本与可用性。

2月5日周四
  1. Mistral AI72

    Mistral 发布 Voxtral Transcribe 2 语音转写模型家族

    Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。

    推荐理由:原文给出两款语音转写模型的延迟、价格与开源许可,读者可据此判断实时语音场景的选型空间。

7月17日周四
  1. Mistral AI62

    Mistral 为 Le Chat 上线 Deep Research、语音模式等多项新功能

    Mistral 为 Le Chat 推出一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects,以及与 Black Forest Labs 合作的图像编辑。

    推荐理由:Mistral 一次性把深度研究、语音、推理与图像编辑并入 Le Chat,可据此判断其助手产品的能力边界。

7月15日周二
  1. Mistral AI78

    Mistral 发布 Voxtral 语音理解模型,24B 与 3B 双版本开源

    Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两种规格,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟音频转写或 40 分钟音频理解,具备内置问答与摘要、多语言自动检测和语音触发函数调用能力,文本能力继承 Mistral Small 3.1。

    推荐理由:Mistral 开源语音理解模型,给出两种规格、Apache 2.0 许可与 API 定价,可据此判断语音转写与理解的选型成本。

已经到底了