研究论文、技术报告、基准与数据集
Artificial Analysis 报告称，在 AA-AgentPerf 的初步测试结果中，NVIDIA Vera Rubin NVL72 在 DeepSeek V4 Pro 上的每兆瓦吞吐量最高可达 GB300 NVL72 的约 5.7 倍。其优势在单用户速度较快时最大；在测试的四款模型中，峰值吞吐量增幅为 1.14 倍至 1.45 倍。NVIDIA 提交的所有 Vera Rubin 测试结果均使用 TensorRT-LLM 和搭配 NVIDIA Dynamo 的 vLLM；该基准会重放真实的智能体编程会话，并测量每兆瓦实测 GPU 功耗对应的吞吐量以及每个智能体的输出速度。
GPT-6-Astra 在 OpenAI 的 Codex 环境中运行，未获得人类提示，解决了 TheoPhysEval 涵盖十一个理论物理子领域的 50 道题中的 49 道，总花费略低于 116 美元。Anthropic 的 Opus 5.5 得分为 92%，而两款模型在无法访问互联网时都达到了 92%。研究人员强调，该基准测试的是运用已知方法进行计算的能力；而选择有前景的研究问题，对当前的智能体来说仍是另一项挑战。
推荐理由：该基准区分了完成具体物理计算的熟练程度与选择有价值研究问题的能力，厘清了高分实际衡量的是科学工作中的哪些部分。
Artificial Analysis 要求 AI 模型在线下以 3D 方式构建埃菲尔铁塔。Claude Opus 5.5 和 Grok 4.7 按正确顺序列出了镌刻在塔上的 72 位科学家、工程师和数学家的姓名，尽管双方共用的任务说明从未提及这些姓名。 Claude Opus 5.5 还将每组姓名与其在巴黎的朝向对应起来。两个模型都在无法访问互联网的情况下以智能体方式工作；这些姓名首次出现在它们生成的代码中，从未出现在它们读取的文件或工具输出里。
欢迎来到具身 AI 时代。 我们正式推出 AA-Robotics v0.1，这是我们的研究预览版，用于衡量前沿语言模型在理解、规划和在物理世界中采取行动方面的表现。在 v0.1 中，每个模型都可以控制一台 6 轴机械臂（5 个关节和一个 https://t.co/fCwpnDlvB2
六个月前，前沿 AI 模型勉强能赢《杀戮尖塔》。如今，根据我们新推出的 SpireClimb 基准测试，它们在最低难度下的胜率超过 90%，在最高难度下最高可达 20%。https://t.co/KvV5gD2RBh
谷歌工程师海登·贝尔菲尔德表示，尽管自动化程度大幅提高，谷歌 DeepMind 尚未发现 AI 推动 AI 研究加速的可衡量证据。AI 编写了超过 75% 的生产代码，但每项改动在提交前都会经过人工审核；Argon 能完成 RE-Bench 的 74 项机器学习工程任务中约一半。谷歌的通用能力指数显示 Gemini 的能力稳步提升，但没有出现具有统计显著性的加速，这与研究人员关于可能出现智能爆炸的警告形成对照。
Artificial Analysis 正将 AMD MI355X 的结果纳入 AA-AgentPerf。该基准会重放真实的编码智能体会话，并模拟提示缓存和工具调用延迟。 在单台 8-GPU 节点上，对于 DeepSeek V4 Pro 0813，在每位用户 35 至 75 tok/s 的范围内，MI355X 的每兆瓦吞吐量比 B200 高约 15% 至 40%。DeepSeek V4.1 Flash 在单个智能体场景下达到 NVIDIA Blackwell 的性能，但随着负载上升则有所落后；GLM-5.2/5.3 和 Kimi K3 的表现也落后于所比较的 NVIDIA 系统。 结果使用 ROCm nightly 以及 vLLM 和 SGLang 的开发版本；Kimi K3 的比较采用 NVIDIA 多节点配置。
Artificial Analysis 将 DeepSeek V4.1 Flash 纳入 AA-AgentPerf。该基准测试工具会重放真实的智能体编程会话，并模拟提示缓存和工具调用延迟。按每位用户 100 tokens/s 的输出速度计算，GB300 以约 261M tokens/s per MW 领先，其次是约 220M 的 B300 和约 128M 的 MI355X。与 DeepSeek V4 Pro 0813 相比，V4.1 Flash 在 Artificial Analysis Intelligence Index 上得分为 39，而 V4 Pro 0813 为 36；在这一用户输出速度下，V4.1 Flash 的每 MW 吞吐量约为后者的 1.3 倍至 6.2 倍，具体取决于硬件。
Artificial Analysis 推出了 Decision Index v1.0，用于比较决策模型在分类、工具调用、知识和推理方面的能力、成本与速度。Jev 1.13 以 58 分领跑决策模型；Claude Haiku 5.5 (Low) 得分为 61，但每项任务耗时 1.4 秒，而决策模型耗时 0.13 秒；每百万项任务的成本为 184 美元，而决策模型为 42 美元。领先的决策模型在分类和工具调用方面表现与语言模型相当，但在知识和推理方面落后；在这两项任务中，它们给出的答案概率通常高于其准确率。
Artificial Analysis 推出了 AA-3D，这是一项基准测试：AI 智能体根据七个领域的 55 份文字简报生成交互式 three.js 场景，供人类进行盲测比较。 来自 1,000 多名评审的计票数超过 10,000 票，按 Elo 对 21 个模型进行排名，并给出 95% 置信区间；Claude Sonnet 5.5、Claude Opus 5.5、GPT-6 Astra 和 Claude Fable 5.1 在统计上并列领先。 模型最多可用三小时和 250 轮，报告的每个场景成本从 $0.20 到 $32.08 不等。
Artificial Analysis 推出了 FrontierCode 1.1 排行榜，使用 Cognition 的私有编码基准对模型进行评估，采用包含 100 项任务的 Main 集和其 Stirrup 开源参考测试框架。评分结合单元测试与面向维护者的标准；任何一项阻断性检查未通过，得分即为零。Claude Opus 5.5（max with fallback）以 52% 领先，尝试中通过阻断项的比例为 58%；开放权重模型中 MiMo-V2.6-Pro 以 45% 领先，而 GPT-6.1 Sol（max）每项任务费用为 $0.81，得分 49%，与 Claude Fable 5.1（max with fallback）持平。
Import AI 476 介绍了 Humanity’s Sixth Sense，这是 Elorian 和 Scale AI 推出的一项基准测试，用于评估直觉式视觉推理。人类的综合 pass@1 得分为 93.1，而 GPT 6 Astra 得分为 53.6；GLM-5.3-flash 和 Kimi K3 分别为 26.8 和 25.5。本期通讯还探讨了 AI 如何加速太空开发，并报道了 TasteVal——一项评估 AI 系统研究品味的基准测试。
评估公司 Vals AI 在 Vibe Code Bench 上测试了 GPT-6 Sol 和 Claude Opus 5.5，分别以单智能体和团队形式运行，并采用中等和最高推理强度。团队的成本比单个智能体高出 1.8 倍至 5.1 倍，而在四组对比中只有一组显示出统计上显著的提升：GPT-6 Sol 在中等推理强度下，团队得分高出 7.3 分。在最高推理强度下，团队未能给任一模型带来真正的优势。
Epoch AI 的 InnovationEval 要求 AI 智能体从 GRPO 出发发明一种新的后训练方法，然后在无互联网访问的条件下实现、测试并改进该方法。在宽松评分下，GPT-5.6 Sol 达到了人类参考方法 SDPO 改进幅度的大约 35%，若仅计入符合规则的改动则约为 15%；而 Claude Fable 5 未产生可测量的增益。两个智能体都只报告了各自的最佳运行结果，Epoch 由此得出结论：人类将需要审查所有由 AI 生成的研究。
由清华大学领衔的团队举办的 WorldArena 2.0 挑战赛于9月16日发布最终排行榜，共设三个赛道，涵盖视频质量、作为强化学习环境的世界模型以及真实机器人操作。Visincept 的 WorldIncept 赢得第一赛道，中关村学院的 MW2 赢得第二赛道，小米机器人的 ViTacX 位居第三赛道榜首，总奖金为7,000美元。组织者表示，接触密集的真实机器人操作仍是一个瓶颈。
如今的前沿语言模型能否在没有指导的情况下，以零样本方式控制真实机械臂？ AA-Robotics v0.1 即将推出。
Artificial Analysis 使用四款模型连续进行 30 次房产布置编辑测试：GPT Image 2.5 Sunburst、Ideogram 4.5、FLUX 3 和 Nano Banana 2.1。结果发现，Ideogram 4.5 保留了房间的大部分原貌，而其他模型都出现了偏移。其排行榜衡量的是单次编辑表现，而这项测试则让每个模型都以自己的上一次输出为基础继续编辑。在小幅编辑中，Ideogram 4.5 和 FLUX 3 基本保持了至少 95% 的图像不变；GPT Image 2.5 Sunburst 保持不变的部分约占五分之一，偏移也最明显；Nano Banana 2.1 虽然只编辑局部，但图像逐渐变暗。
来自腾讯混元、复旦大学和清华大学的研究人员发布了 ExplorationBench，这是一项用于衡量 AI 系统探索能力的基准测试。它采用两个可验证的沙盒：AlienCode 包含 31 项隐藏规则变更和 70 个任务，AlienLogic 包含 24 条修补后的推理规则和 70 个定理；评分由解释器或证明检查器完成，而非由大语言模型评判。在对 10 个前沿系统的测试中，反馈优于单纯思考；AlienCode 的最佳运行结果在四轮后达到 89.0%。
AI 能实现 Epoch 的工作自动化吗？我们推出 Epoch 自动化报告，通过源自我们自身工作的真实、开放式任务评估前沿模型。 Claude Fable 5.1 和 GPT-6 Astra 表现领先，但距离全面自动化 Epoch 的工作还很远。
UniPat AI 发布 PaperBenchX，这是国际上第一个多学科端到端论文结果复现基准，从 93 篇论文构建 93 个复现任务，横跨电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。
人工智能开发者希望打造自动化的人工智能研究员。他们离目标还有多远？ 为了弄清这一点，我们构建了 InnovationEval，用来测试人工智能能否产出与近期发表的一项进展规模相当的后训练创新成果。迄今为止，智能体的表现乏善可陈。
我们为长时程棋盘游戏基准 EBR-bench 引入了两种新的实验设置：禁用游戏中最强的卡牌，以及多智能体设置。 我们预计 EBR-bench 很快就会趋于饱和，因此这可能是该基准的最后一次变更。
一项基准测试用 5,070 个禁用推理的案例，检验本地 Qwen3.8-27B-Q4_K_M.gguf 能否只用英文单词完成正整数加法并给出精确结果，其数字准确率为 23.57%，格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%；在 169 个启用中等推理的配对案例中，模型答对 167 个。
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub pull request 的分布特征构建，语料包含 187 个开源仓库、19 种语言的 219 个 pull request。
研究团队提出 Image-to-Code 方法，让编码智能体从单张照片迭代编写可执行的 Blender 程序，输出可运行、可修改的场景代码，并配套发布 LEGO-Bench 基准。
Mercor 的一项研究让 12 名平均从业五年半的持证 CPA 完成 APEX Accounting Benchmark 的简化记账任务，结果显示 AI 模型在速度、准确率和成本上都优于会计师。
Graphite 研究发现 Claude Opus 5.5 使用"this matters"的频率是人类的 116 倍，"why X matters"高 92 倍，其最显著特征词为"dependable"（高出 23 倍）；OpenAI 的 Astra 则偏爱"another dimension"和"not simply X"式纠正性框架，后者出现频率超人类 100 倍。
腾讯混元、复旦大学和清华大学的研究人员发布了 ExplorationBench，这是一项基准测试，通过考察 AI 系统能否发现陌生规则来衡量其探索能力。它使用两个可验证的“异世界”：AlienCode（31 次隐藏规则变更，70 项任务）和 AlienLogic（24 条经过修改的推理规则，70 个定理），并由解释器或证明检查器评分，不使用 LLM 评审。在对 10 个前沿 AI 系统的测试中，反馈优于单纯思考，而且两个异世界之间的排名几乎无法迁移。
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法，可分离同一基准中混杂的能力信号。该方法基于 100 个 LLM 在 16 个基准、超 34K 道题上的结果训练，在未被告知基准对应能力的情况下自行恢复出安全与通用推理两个主导维度。分析显示 BBQ、WMDP 等安全基准的得分与通用推理关联更强，单一基准分数可能混合多种信号。
Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：研究给出三种可复现的探测方法，量化了 ASR 模型复现基准错误转录的程度，对评测设计有直接参考。
Import AI 469 介绍了新基准 DiG-bench（Discovery in Games），包含 70 款隐藏规则的游戏，用于测试 AI 通过探索推断环境规则的能力，Opus 5 和 Fable 5 搭配 Claude Code 表现最佳，但仅能在 Tier 7 完成 0.2 的任务，远逊于人类 100% 的成功率。
Microsoft Research 推出 MindTopo 基准，用于评测多模态大语言模型的拓扑推理能力，覆盖连通性、分离、顺序、包围与绳结五类关系，并分为静态推理与交互规划两个层级。测试显示，当前模型在静态识别上明显强于交互规划，且两者均远低于人类水平，失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用，跨多步操作时仍不可靠。
Hugging Face 的 ALTK-Evolve 与 ACE 同为无需更新权重、无需人工标注的智能体记忆方案，但 ALTK-Evolve 把记忆投递当作可调旋钮，按任务检索少量高支持度准则，而非每步注入完整 playbook。
Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统完成人类需长时间投入的编程任务的能力，共 25 个目标程序，其中 17/25 至少有一次满分运行，8/25 从未达到 100% 阈值。
DharmaOCR 在葡萄牙语 OCR 基准上取得 0.925 分，高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语监督微调加 DPO 两阶段训练，将全部参数集中于巴西葡萄牙语，从而在提取质量与稳定性上形成领域专精优势。
Hume 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60+ 指标，涵盖 ASR、TTS、S2S 和语音理解。
推荐理由：Hume 用超百万条人工评分构建语音 AI 基准，揭示现有指标为何高估真实对话表现。
Hugging Face 发布开源基准 ScarfBench，用于评估 AI 智能体在企业级 Java 框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现和 204 个迁移任务。
Google Research 在 COLM 2026 发表的论文揭示，推理轨迹能解锁 LLM 原本无法触及的参数化知识，即使面对简单单跳事实问题。研究在 Gemini-2.5（Flash 和 Pro）与 Qwen3-32B 上验证，发现两大机制：生成额外 token 充当"计算缓冲"，以及"事实启动"通过生成相关事实搭建检索桥梁。
