TII 推出 Falcon-ASR：1.6B 参数阿拉伯语语音识别模型，主打阿联酋方言
阿布扎比技术创新研究院（TII）发布 1.6B 参数的语音识别模型 Falcon-ASR，主打阿拉伯语及阿联酋方言，同时支持英语、法语、西班牙语和葡萄牙语。在六个阿拉伯语测试集上平均 WER 为 20.92%，比所用榜单快照中最佳公开结果 23.17% 低 2.25 个百分点；内部阿联酋方言评测 WER 22.73%、CER 10.19%，优于 Qwen3-Omni。
全部动态 · 今日0条
#评测/基准
信源抓到、进了内容池的全部内容，按时间排列；精选只是其中一部分。
一手
模型厂商、公司和研究机构自己发布的消息：官网、官方博客和官方账号。
Hugging Face Blog40
Microsoft Research22 Microsoft 研究：AI 评测为何在传统 benchmark 之外出现“意外失败”
Microsoft 的 Jennifer Neville 指出，把模型放到传统 benchmark 之外测试时会出现“意外失败”，评测是推动当前 AI 系统性能边界、贴合用户需求的关键。她建议在使用现有 AI 系统时密切关注数据，因为结果偏离预期时数据本身往往最值得细看。
AWS Machine Learning Blog34 用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器，可在开发和生产阶段衡量智能体的准确性、任务成功率与行为表现。
GitHub Blog · AI & ML58 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub pull request 的分布特征构建，语料包含 187 个开源仓库、19 种语言的 219 个 pull request。
Hugging Face Blog精选60 Hugging Face 发布 Open TTS Leaderboard，用客观指标评测多语言 TTS 与语音克隆
Hugging Face 发布 Open TTS Leaderboard，用 WER/CER、RTFx、TTFA 和说话人相似度等客观指标评测开源 TTS 模型，把评测周期从数周投票缩短到数小时。
推荐理由：Hugging Face 用客观指标替代投票式评测，读者可了解开源 TTS 模型在多语言与语音克隆上的横向对比方式。
OpenAI News31 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。
Hugging Face Blog34 英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
Hugging Face Blog36 Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法，可分离同一基准中混杂的能力信号。该方法基于 100 个 LLM 在 16 个基准、超 34K 道题上的结果训练，在未被告知基准对应能力的情况下自行恢复出安全与通用推理两个主导维度。分析显示 BBQ、WMDP 等安全基准的得分与通用推理关联更强，单一基准分数可能混合多种信号。
Hugging Face Blog精选60 Hugging Face 研究如何测量语音识别中的基准优化
Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：研究给出三种可复现的探测方法，量化了 ASR 模型复现基准错误转录的程度，对评测设计有直接参考。
Microsoft Research36 MindTopo 揭示多模态大模型的空间推理能力短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大语言模型的拓扑推理能力，覆盖连通性、分离、顺序、包围与绳结五类关系，并分为静态推理与交互规划两个层级。测试显示，当前模型在静态识别上明显强于交互规划，且两者均远低于人类水平，失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用，跨多步操作时仍不可靠。
Hugging Face Blog42 ALTK-Evolve 对比 ACE：同等 Agent 记忆，token 消耗降至约七分之一
Hugging Face 的 ALTK-Evolve 与 ACE 同为无需更新权重、无需人工标注的智能体记忆方案，但 ALTK-Evolve 把记忆投递当作可调旋钮，按任务检索少量高支持度准则，而非每步注入完整 playbook。
Hugging Face Blog22 DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语 OCR 基准上取得 0.925 分，高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语监督微调加 DPO 两阶段训练，将全部参数集中于巴西葡萄牙语，从而在提取质量与稳定性上形成领域专精优势。
Hugging Face Blog精选62 Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 和语音理解。
推荐理由：Hume 用超百万条人工评分构建语音 AI 基准，揭示现有指标为何高估真实对话表现。
Hugging Face Blog精选74 LeRobot v0.6.0 发布：想象、评估、改进
Hugging Face 发布 LeRobot v0.6.0，围绕机器人学习闭环引入世界模型策略（VLA-JEPA、FastWAM、LingBot-VA）、新一批 VLA（GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT）以及统一奖励模型 API（Robometer、TOPReward）。
推荐理由：原文把世界模型策略、奖励模型 API 与六个仿真基准整合进同一套 CLI，读者可据此判断机器人学习闭环的工程化程度。
Hugging Face Blog47 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布开源基准 ScarfBench，用于评估 AI 智能体在企业级 Java 框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现和 204 个迁移任务。
Hugging Face Blog50 Hugging Face 模型页现已展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，EEE 评测结果可直接提交至 Community Evals，并带有回链完整 EEE 记录的来源徽章。
Google Research37 Google Research 研究：推理如何解锁 LLM 的参数化知识
Google Research 在 COLM 2026 发表的论文揭示，推理轨迹能解锁 LLM 原本无法触及的参数化知识，即使面对简单单跳事实问题。研究在 Gemini-2.5（Flash 和 Pro）与 Qwen3-32B 上验证，发现两大机制：生成额外 token 充当"计算缓冲"，以及"事实启动"通过生成相关事实搭建检索桥梁。
Google Research50 Google 推出 Vantage：用生成式 AI 评估未来技能
Google 发布研究实验 Vantage，通过生成式 AI 构建模拟对话环境，评估高中与大学生的问题解决、协作等未来技能，现已上线 Google Labs 开放英文注册。该工具由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分，与纽约大学合作对 188 名 18-25 岁测试者的研究显示，AI 评分与人类专家评分的一致性接近专家之间的水平。
Google Research38 Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用心理学量表改编的情境判断测试（SJT）评估 LLM 行为倾向与人类共识的对齐程度，覆盖共情、情绪调节等四类特质。对 25 个 LLM 的大规模分析发现两类差距：模型倾向偏离人类标注者共识，以及在无共识时无法覆盖人类意见的分布范围。小模型（<120B）与前沿闭源模型在人类一致同意时接近完美对齐，但共识低于 90% 时对齐率停滞在 80% 出头。
Google Research34 Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在论文《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1-5 名标注者往往不足，要反映人类意见差异常需超过 10 名。
Google Research40 Google 用高温超导研究问题测试 LLM：NotebookLM 表现最佳
Google 与康奈尔大学合作，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由国际专家小组按六个维度盲评打分。
Mistral AI30 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 配合 RAG Triad 框架评估 RAG 系统，通过 Context Relevance、Groundedness、Answer Relevance 三项指标分别检查检索文档与查询的匹配度、回答是否基于检索上下文、以及回答是否切中用户问题。