人工智能开发者希望打造自动化的人工智能研究员。他们离目标还有多远？为了弄清这一点，我们构建了 InnovationEval，用来测试人工智能能否产出与近期发表的一项进展规模相当的后训练创新成果。迄今为止，智能体的表现乏善可陈。
人工智能开发者希望打造自动化的人工智能研究员。他们离目标还有多远？ 为了弄清这一点，我们构建了 InnovationEval，用来测试人工智能能否产出与近期发表的一项进展规模相当的后训练创新成果。迄今为止，智能体的表现乏善可陈。
全部动态 · 今日4条
#评测/基准
信源抓到、进了内容池的全部内容，按时间排列；精选只是其中一部分。
Epoch AI · X35 Epoch AI · X20 我们为长时程棋盘游戏基准 EBR-bench 引入了两种新的实验设置：禁用游戏中最强的卡牌，以及多智能体设置。我们预计 EBR-bench 很快就会趋于饱和，因此这可能是该基准的最后一次变更。
我们为长时程棋盘游戏基准 EBR-bench 引入了两种新的实验设置：禁用游戏中最强的卡牌，以及多智能体设置。 我们预计 EBR-bench 很快就会趋于饱和，因此这可能是该基准的最后一次变更。
Simon Willison42 Mistral Large 4 实测：用 SVG 生成测试对比 Claude、GPT、Gemini
Simon Willison 用同一提示词让 Mistral Large 4 与 claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash 各生成一张"穿渔网袜在火星乱穿马路的犰狳"SVG，以对比前沿模型在基准饱和后的表现。测试通过 llm 命令行工具调用，各模型使用默认推理等级。
Microsoft Research22 Microsoft 研究：AI 评测为何在传统 benchmark 之外出现“意外失败”
Microsoft 的 Jennifer Neville 指出，把模型放到传统 benchmark 之外测试时会出现“意外失败”，评测是推动当前 AI 系统性能边界、贴合用户需求的关键。她建议在使用现有 AI 系统时密切关注数据，因为结果偏离预期时数据本身往往最值得细看。
TechCrunch · AI62 HackerRank 将 AI 面试官 Chakra 正式开放给客户
HackerRank 将其 AI 面试官 Chakra 正式向客户开放，此前约六个月的测试中已完成超过 50 万场面试，Snowflake、Snorkel、Capgemini 等公司参与试用。
Simon Willison22 Qwen3.8 27B 用英文单词做加法的基准测试
一项基准测试用 5,070 个禁用推理的案例，检验本地 Qwen3.8-27B-Q4_K_M.gguf 能否只用英文单词完成正整数加法并给出精确结果，其数字准确率为 23.57%，格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%；在 169 个启用中等推理的配对案例中，模型答对 167 个。
AWS Machine Learning Blog34 用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器，可在开发和生产阶段衡量智能体的准确性、任务成功率与行为表现。
GitHub Blog · AI & ML58 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub pull request 的分布特征构建，语料包含 187 个开源仓库、19 种语言的 219 个 pull request。
The Decoder58 LEGO-Anything 让编码智能体从单张照片生成 Blender 场景，并发布 LEGO-Bench 基准
研究团队提出 Image-to-Code 方法，让编码智能体从单张照片迭代编写可执行的 Blender 程序，输出可运行、可修改的场景代码，并配套发布 LEGO-Bench 基准。
Latent Space42 AINews：GPT-6.1 Sol 与 Sonnet 5.5 重塑性价比前沿
OpenAI 发布 GPT-6.1 Sol，定价 $2/$10 per million input/output tokens，比 Astra 的 $10/$50 大幅降低，在 DeepSWE v1.1 上超 GPT-6 Sol 6.4 分。
The Verge · AI58 OpenAI 的 Dots 智能体上手实测：更像企业软件，也能帮你订晚餐
The Verge 记者实测了 OpenAI 本周发布的智能体平台 Dots，它目前只向最高档账户开放，包括每月 100 美元的 Pro 账户，用户只能拥有一个 Dots，可自定义名称和头像，界面与 Meta Muse 类似，一个窗口对话、另一个窗口看它在虚拟机上操作。
The Decoder58 Mercor 研究：AI 记账速度与准确率超过持证会计师，但仍无法独立完成结账
Mercor 的一项研究让 12 名平均从业五年半的持证 CPA 完成 APEX Accounting Benchmark 的简化记账任务，结果显示 AI 模型在速度、准确率和成本上都优于会计师。
Andrej Karpathy · X30 Karpathy 分享 LLM 陆海判定评测
很酷的 eval。只需问 LLM“陆地还是海洋？”，以文本形式给它一个经纬度坐标。问 16,200 次，绘制成图像。模型知道答案。来自对互联网的压缩。
TechCrunch · AI38 Graphite 研究：Claude Opus 5.5 最爱说"this matters"，GPT 模型写作特征反而越来越偏离人类
Graphite 研究发现 Claude Opus 5.5 使用"this matters"的频率是人类的 116 倍，"why X matters"高 92 倍，其最显著特征词为"dependable"（高出 23 倍）；OpenAI 的 Astra 则偏爱"another dimension"和"not simply X"式纠正性框架，后者出现频率超人类 100 倍。
The Decoder精选78 Google 发布 Gemini 4 Argon，追平 OpenAI 与 Anthropic 但未取得明显领先
Google 发布新前沿模型 Gemini 4 Argon，在多项基准上追平 OpenAI 与 Anthropic，但未取得明显领先。该模型先向 Fairwind 计划的“可信网络防御者”和 Google 内部团队开放，之后才面向开发者、企业和消费者，API 定价为每百万输入 token 2 美元、输出 token 10 美元（促销价）。
推荐理由：汇总第三方与人类偏好榜单，呈现 Gemini 4 Argon 与 OpenAI、Anthropic 的分数、token 消耗和价格对比。
Perplexity · X42 我们开发了一种训练上下文嵌入模型的新方法，使模型在编码文档的每个片段时都能看到完整文档。pplx-embed-v2-context-9b-preview 在 ConTEB 和 @turbopuffer 新推出的私有基准测试 context-bench 上树立了新的最先进水平。https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage
我们开发了一种训练上下文嵌入模型的新方法，使模型在编码文档的每个片段时都能看到完整文档。 pplx-embed-v2-context-9b-preview 在 ConTEB 和 @turbopuffer 新推出的私有基准测试 context-bench 上树立了新的最先进水平。 https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage
Hugging Face Blog精选60 Hugging Face 发布 Open TTS Leaderboard，用客观指标评测多语言 TTS 与语音克隆
Hugging Face 发布 Open TTS Leaderboard，用 WER/CER、RTFx、TTFA 和说话人相似度等客观指标评测开源 TTS 模型，把评测周期从数周投票缩短到数小时。
推荐理由：Hugging Face 用客观指标替代投票式评测，读者可了解开源 TTS 模型在多语言与语音克隆上的横向对比方式。
腾讯混元 · X45 腾讯混元、复旦大学和清华大学发布 AI 探索能力基准 ExplorationBench
腾讯混元、复旦大学和清华大学的研究人员发布了 ExplorationBench，这是一项基准测试，通过考察 AI 系统能否发现陌生规则来衡量其探索能力。它使用两个可验证的“异世界”：AlienCode（31 次隐藏规则变更，70 项任务）和 AlienLogic（24 条经过修改的推理规则，70 个定理），并由解释器或证明检查器评分，不使用 LLM 评审。在对 10 个前沿 AI 系统的测试中，反馈优于单纯思考，而且两个异世界之间的排名几乎无法迁移。
雷锋网精选78 GPT-6 Astra 首批实测：一周搭出曼哈顿，长任务仍会翻车
OpenAI 于北京时间 9 月 4 日凌晨发布新一代旗舰模型 GPT-6 Astra，雷锋网汇总了首批拿到模型用户的实测案例。
推荐理由：汇总首批用户实测，呈现 GPT-6 Astra 在长任务中能自我检查却仍需人把关的能力边界。
雷锋网58 HiDream-O1-Video 对比 Seedance 2.5、MiniMax H3：三组测试检验视频模型如何理解变化
雷锋网用三组原创图生视频任务对比 HiDream-O1-Video-1.0、Seedance 2.5 和 MiniMax H3，考察意图规划、时间因果与音画对应。
雷锋网42 对比 Codex，免费的 AgnesCode 也能在底层算子优化任务中打得有来有回
雷锋网将免费的 AgnesCode + Agnes 3.0 Flash 与 Codex + GPT-5.6 Sol 放入众智 FlagOS 大赛的 DeepSeek-V3 算子优化题 Task66 对比。
雷锋网71 OpenClaw 2.0 实测：Agent 网关能重塑工作流边界吗
雷锋网对 8 月 31 日发布的 OpenClaw 2.0（v2026.8.1）与 1.x 版 v2026.7.1-2 做了同题对比实测，两者在同一台服务器、同一 GLM 5.3 基座下跑同一道调研加汇报加可视化网页的长任务。
雷锋网58 实测 Qwen3.8-Flash 与 GLM-5.3-Flash：谁能让我提前下班半小时
作者在 Claude Code 中用同一任务实测同日发布的 Qwen3.8-Flash 与 GLM-5.3-Flash，要求从零开发一个含任务、日程、笔记、Dashboard 和全局搜索的个人工作台。
雷锋网38 实测 Seedance 2.5 vs 可灵 VIDEO 3.0：AI 视频模型的差距不只在画质，而在工作流
实测显示，Seedance 2.5 画面包装与角色稳定性更强，但在《赴山海》参考图剧情改写中先以"参考图可能涉及公众人物肖像"拦截，移除参考图后又因"受版权保护元素"停止生成；可灵 VIDEO 3.0 则生成了完整的 15 秒反转结局短片。
雷锋网60 拆解 WorkBuddy、千问办公和豆包工作：同一份脏数据算出三个总额
作者用同一份脏销售流水和同一句提示词实测 WorkBuddy、千问办公和豆包工作，三家都交付了 Excel、PPT 和摘要，但算出的季度总额最高比最低多出 57.7%，差异来自对部门缺失订单是剔除、保留还是标为待核实。
雷锋网48 实测 GPT-6 Astra、Claude Fable 5.1 与 GPT-5.6 Sol 控制同一台云台机械臂
同一句"让云台满行程转一遍"的模糊指令下，GPT-6 Astra Pro、Claude Fable 5.1 和 GPT-5.6 Sol 都让机器人转了起来，但完成标准差异明显。
Noam Brown · X59 Noam Brown 主张将模型智能视为成本的函数来衡量
Noam Brown 赞赏 OpenAI 展示模型评测结果的方式，并写道，智能应作为成本的函数来衡量。 在被引用的帖子中，OpenAI 称 GPT-6.1 Sol 以五分之一的价格提供接近 Astra 的智能水平，并称其为目前性能与成本效益最优的模型。
Qwen · X精选78 Qwen 发布 Qwen Intelligence，推出三个手机端 SOTA 智能体
Qwen 发布 Qwen Intelligence，首批上线三个 SOTA 智能体：Mobile Planner Agent 负责任务规划与拆解，在 MobilePA-Bench。
推荐理由：官方给出三个手机端智能体的基准成绩与开放入口，可据此判断端侧智能体当前的能力边界。
OpenAI News31 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。
Hugging Face Blog34 英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
Logan Kilpatrick · X22 Logan Kilpatrick：AI 产品应投入超 25% 时间做基准测试
如果你在用 AI 构建产品，你应该花超过 25% 的时间来做基准测试，并努力让模型实验室关注这些基准测试 这是加速公司进展的最简单路径
Latent Space38 Good Start Labs 如何用游戏训练 AI 模型并迁移到真实工作
Good Start Labs 将《1830》铁路桌游改造成训练环境，用 30B 模型做实验：单轮问答与多轮终端智能体两种训练设计都提升了游戏内表现，但只有终端智能体设计在 Finance-Agent 基准上取得提升。这家从 Every 分拆、获 360 万美元融资的公司认为，游戏呈现方式决定模型学到哪些技能，以及能否迁移到游戏之外的工作。
Hugging Face Blog36 Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法，可分离同一基准中混杂的能力信号。该方法基于 100 个 LLM 在 16 个基准、超 34K 道题上的结果训练，在未被告知基准对应能力的情况下自行恢复出安全与通用推理两个主导维度。分析显示 BBQ、WMDP 等安全基准的得分与通用推理关联更强，单一基准分数可能混合多种信号。
Hugging Face Blog精选60 Hugging Face 研究如何测量语音识别中的基准优化
Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：研究给出三种可复现的探测方法，量化了 ASR 模型复现基准错误转录的程度，对评测设计有直接参考。
Import AI38 Import AI 469：DiG-bench 评测科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 469 介绍了新基准 DiG-bench（Discovery in Games），包含 70 款隐藏规则的游戏，用于测试 AI 通过探索推断环境规则的能力，Opus 5 和 Fable 5 搭配 Claude Code 表现最佳，但仅能在 Tier 7 完成 0.2 的任务，远逊于人类 100% 的成功率。
Microsoft Research36 MindTopo 揭示多模态大模型的空间推理能力短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大语言模型的拓扑推理能力，覆盖连通性、分离、顺序、包围与绳结五类关系，并分为静态推理与交互规划两个层级。测试显示，当前模型在静态识别上明显强于交互规划，且两者均远低于人类水平，失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用，跨多步操作时仍不可靠。
Hugging Face Blog42 ALTK-Evolve 对比 ACE：同等 Agent 记忆，token 消耗降至约七分之一
Hugging Face 的 ALTK-Evolve 与 ACE 同为无需更新权重、无需人工标注的智能体记忆方案，但 ALTK-Evolve 把记忆投递当作可调旋钮，按任务检索少量高支持度准则，而非每步注入完整 playbook。
Import AI42 Import AI 468：23 条 RSI 政策建议、PostTrainBench+，以及信任与透明度如何影响 AI 竞赛
Import AI 第 468 期汇总了智库 IFP 提出的 23 条应对 AI 研发自动化风险的政策建议，覆盖 7 个类别，包括提升自动化 AI 研发透明度、加速 AI 验证技术开发和扩展美国 AI 领先优势。
Import AI62 Epoch 与 METR 发布 MirrorCode 长周期编程基准
Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统完成人类需长时间投入的编程任务的能力，共 25 个目标程序，其中 17/25 至少有一次满分运行，8/25 从未达到 100% 阈值。
Hugging Face Blog22 DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语 OCR 基准上取得 0.925 分，高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语监督微调加 DPO 两阶段训练，将全部参数集中于巴西葡萄牙语，从而在提取质量与稳定性上形成领域专精优势。