跳到正文
2026.10.17 · 周六

#评测/基准

#评测/基准

一手

模型厂商、公司和研究机构自己发布的消息:官网、官方博客和官方账号。

9月30日周三
  1. Hugging Face Blog60

    Hugging Face 发布 Open TTS Leaderboard,用客观指标评测多语言 TTS 与语音克隆

    Hugging Face 发布 Open TTS Leaderboard,用 WER/CER、RTFx、TTFA 和说话人相似度等客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。

    推荐理由:Hugging Face 用客观指标替代投票式评测,读者可了解开源 TTS 模型在多语言与语音克隆上的横向对比方式。

8月21日周五
  1. Hugging Face Blog60

    Hugging Face 研究如何测量语音识别中的基准优化

    Hugging Face 发布研究,用共识分歧、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。

    推荐理由:研究给出三种可复现的探测方法,量化了 ASR 模型复现基准错误转录的程度,对评测设计有直接参考。

7月15日周三
  1. Hugging Face Blog62

    Hume 发布 Real World VoiceEQ:衡量语音 AI 的人类质量

    Hume 发布 Real World VoiceEQ 基准,用于评估语音交互的人类质量,覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标,涵盖 ASR、TTS、S2S 和语音理解。

    推荐理由:Hume 用超百万条人工评分构建语音 AI 基准,揭示现有指标为何高估真实对话表现。

7月7日周二
  1. Hugging Face Blog74

    LeRobot v0.6.0 发布:想象、评估、改进

    Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。

    推荐理由:原文把世界模型策略、奖励模型 API 与六个仿真基准整合进同一套 CLI,读者可据此判断机器人学习闭环的工程化程度。

已经到底了