Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 和语音理解。
推荐理由：Hume 用超百万条人工评分构建语音 AI 基准，揭示现有指标为何高估真实对话表现。
全部动态 · 今日4条
#评测/基准
信源抓到、进了内容池的全部内容，按时间排列；精选只是其中一部分。
Hugging Face Blog精选62
Hugging Face Blog精选74 LeRobot v0.6.0 发布：想象、评估、改进
Hugging Face 发布 LeRobot v0.6.0，围绕机器人学习闭环引入世界模型策略（VLA-JEPA、FastWAM、LingBot-VA）、新一批 VLA（GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT）以及统一奖励模型 API（Robometer、TOPReward）。
推荐理由：原文把世界模型策略、奖励模型 API 与六个仿真基准整合进同一套 CLI，读者可据此判断机器人学习闭环的工程化程度。
Import AI52 Import AI 464：Fable 编写 GPU kernel、AI 自动化与模拟计算
Import AI 464 汇总多项研究进展。Fable 在 KernelBench-Mega 上写出 megakernel，在 RTX PRO 6000 Blackwell 上以 Cuda 实现 18.71X 加速，对比 Claude Opus 4.8 的 14.4X、GLM-5.2 的 11.14X 和 GPT 5.5 的 4.34X。
Hugging Face Blog47 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布开源基准 ScarfBench，用于评估 AI 智能体在企业级 Java 框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现和 204 个迁移任务。
Hugging Face Blog50 Hugging Face 模型页现已展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，EEE 评测结果可直接提交至 Community Evals，并带有回链完整 EEE 记录的来源徽章。
Google Research37 Google Research 研究：推理如何解锁 LLM 的参数化知识
Google Research 在 COLM 2026 发表的论文揭示，推理轨迹能解锁 LLM 原本无法触及的参数化知识，即使面对简单单跳事实问题。研究在 Gemini-2.5（Flash 和 Pro）与 Qwen3-32B 上验证，发现两大机制：生成额外 token 充当"计算缓冲"，以及"事实启动"通过生成相关事实搭建检索桥梁。
Import AI42 Import AI 461：Sequent 称"对齐尚未走上正轨"、FrontierCode 与合成研究实习生
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent，认为"对齐尚未走上正轨"，计划两年内扩至 40-80 名全职员工，初期募资 100-150M 美元，研究方向包括可扩展监督、学习理论、启发式论证、博弈论与 personas。
Google Research50 Google 推出 Vantage：用生成式 AI 评估未来技能
Google 发布研究实验 Vantage，通过生成式 AI 构建模拟对话环境，评估高中与大学生的问题解决、协作等未来技能，现已上线 Google Labs 开放英文注册。该工具由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分，与纽约大学合作对 188 名 18-25 岁测试者的研究显示，AI 评分与人类专家评分的一致性接近专家之间的水平。
Google Research38 Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用心理学量表改编的情境判断测试（SJT）评估 LLM 行为倾向与人类共识的对齐程度，覆盖共情、情绪调节等四类特质。对 25 个 LLM 的大规模分析发现两类差距：模型倾向偏离人类标注者共识，以及在无共识时无法覆盖人类意见的分布范围。小模型（<120B）与前沿闭源模型在人类一致同意时接近完美对齐，但共识低于 90% 时对齐率停滞在 80% 出头。
Google Research34 Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在论文《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1-5 名标注者往往不足，要反映人类意见差异常需超过 10 名。
Google Research40 Google 用高温超导研究问题测试 LLM：NotebookLM 表现最佳
Google 与康奈尔大学合作，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由国际专家小组按六个维度盲评打分。
Mistral AI30 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 配合 RAG Triad 框架评估 RAG 系统，通过 Context Relevance、Groundedness、Answer Relevance 三项指标分别检查检索文档与查询的匹配度、回答是否基于检索上下文、以及回答是否切中用户问题。