跳到正文
2026.10.17 · 周六

#评测/基准

#评测/基准

论文

研究论文、技术报告、基准与数据集

10月15日周四
  1. The Decoder81

    GPT-6-Astra 每题花费 2.40 美元,解决了 50 道物理研究问题中的 49 道

    GPT-6-Astra 在 OpenAI 的 Codex 环境中运行,未获得人类提示,解决了 TheoPhysEval 涵盖十一个理论物理子领域的 50 道题中的 49 道,总花费略低于 116 美元。Anthropic 的 Opus 5.5 得分为 92%,而两款模型在无法访问互联网时都达到了 92%。研究人员强调,该基准测试的是运用已知方法进行计算的能力;而选择有前景的研究问题,对当前的智能体来说仍是另一项挑战。

    推荐理由:该基准区分了完成具体物理计算的熟练程度与选择有价值研究问题的能力,厘清了高分实际衡量的是科学工作中的哪些部分。

8月21日周五
  1. Hugging Face Blog60

    Hugging Face 研究如何测量语音识别中的基准优化

    Hugging Face 发布研究,用共识分歧、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。

    推荐理由:研究给出三种可复现的探测方法,量化了 ASR 模型复现基准错误转录的程度,对评测设计有直接参考。

7月15日周三
  1. Hugging Face Blog62

    Hume 发布 Real World VoiceEQ:衡量语音 AI 的人类质量

    Hume 发布 Real World VoiceEQ 基准,用于评估语音交互的人类质量,覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标,涵盖 ASR、TTS、S2S 和语音理解。

    推荐理由:Hume 用超百万条人工评分构建语音 AI 基准,揭示现有指标为何高估真实对话表现。

已经到底了