跳到正文
全部动态 · 今日4条

#评测/基准

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
10月14日周三
  1. Artificial Analysis · X59

    Artificial Analysis 推出决策指数,用于对比决策模型与语言模型的基准表现

    Artificial Analysis 推出了 Decision Index v1.0,用于比较决策模型在分类、工具调用、知识和推理方面的能力、成本与速度。Jev 1.13 以 58 分领跑决策模型;Claude Haiku 5.5 (Low) 得分为 61,但每项任务耗时 1.4 秒,而决策模型耗时 0.13 秒;每百万项任务的成本为 184 美元,而决策模型为 42 美元。领先的决策模型在分类和工具调用方面表现与语言模型相当,但在知识和推理方面落后;在这两项任务中,它们给出的答案概率通常高于其准确率。

10月13日周二
  1. 量子位63

    MagicLab Studio 的 EchoPolicy-0 以 75.4% 的平均成功率登顶 MolmoSpaces Combined

    据 QbitAI 报道,截至 2026 年 10 月 13 日,MagicLab Studio 的 EchoPolicy-0 在 MolmoSpaces Combined 排名第一,在 3915 个评测回合中,四项 v1 操作任务的平均成功率达到 75.4%。其拥有 34 亿参数的 MagicBrain 以 72.4% 的平均成功率和 94.4% 的抓取成功率位列第四。EchoPolicy-0 将 VLM 引导的候选轨迹选择与执行检查相结合;MagicBrain 则利用视觉标记和后训练,在不改变 VLA 架构的情况下,将目标位置与动作关联起来。

  2. Artificial Analysis · X56

    Artificial Analysis 推出 AA-3D,用于评测 AI 模型构建交互式 3D 场景的能力

    Artificial Analysis 推出了 AA-3D,这是一项基准测试:AI 智能体根据七个领域的 55 份文字简报生成交互式 three.js 场景,供人类进行盲测比较。 来自 1,000 多名评审的计票数超过 10,000 票,按 Elo 对 21 个模型进行排名,并给出 95% 置信区间;Claude Sonnet 5.5、Claude Opus 5.5、GPT-6 Astra 和 Claude Fable 5.1 在统计上并列领先。 模型最多可用三小时和 250 轮,报告的每个场景成本从 $0.20 到 $32.08 不等。

  3. The Decoder83

    Meta发布Muse Wonder系列模型,在编程和智能体基准测试中取得进步

    Meta发布了Muse Wonder和Muse Wonder Full,在Artificial Analysis Intelligence Index v4.3中分别获得52分和56分,而Muse Spark 1.3为48分。两款模型均支持一百万Token的上下文窗口,以及文本、图像、视频和音频输入;编程和智能体表现更强,但事实知识弱于领先竞品。Muse Wonder可通过Meta的API和Muse Code使用,价格高于前代产品;Muse Wonder Full目前仅限Muse Code用户使用。

    同一新闻,精选展示《Meta releases frontier models Muse Wonder and Muse Wonder Full》

  4. 宝玉 · X80

    Meta发布Muse Wonder供开发者使用,面向消费者的开放时间仍不明确

    Baoyu报道,Meta于10月12日发布了Muse Wonder和Muse Wonder Full。Muse Wonder今日通过Meta Model API和Muse Code开放,Full则仅限Muse Code订阅用户使用。Meta的博客称,面向消费者的开放即将到来,而扎克伯格表示订阅用户今天就能使用。模型支持100万token的上下文窗口,可接收多模态输入并输出文本。Meta称,模型在持续的智能体任务、编程和记忆方面表现出色,但其对比包含内部基准测试,以及可能未经过最佳配置的竞品测试。

    同一新闻,精选展示《Meta releases frontier models Muse Wonder and Muse Wonder Full》

  5. Artificial Analysis · X70

    Artificial Analysis 推出 FrontierCode 1.1 排行榜,用于衡量可供维护者采用的代码更改

    Artificial Analysis 推出了 FrontierCode 1.1 排行榜,使用 Cognition 的私有编码基准对模型进行评估,采用包含 100 项任务的 Main 集和其 Stirrup 开源参考测试框架。评分结合单元测试与面向维护者的标准;任何一项阻断性检查未通过,得分即为零。Claude Opus 5.5(max with fallback)以 52% 领先,尝试中通过阻断项的比例为 58%;开放权重模型中 MiMo-V2.6-Pro 以 45% 领先,而 GPT-6.1 Sol(max)每项任务费用为 $0.81,得分 49%,与 Claude Fable 5.1(max with fallback)持平。

  6. Alexandr Wang · X82

    Meta 发布 Muse Wonder 和 Muse Wonder Full,基准测试得分更高

    据 Alexandr Wang 引述的帖子,Meta 已发布 Muse Wonder 和 Muse Wonder Full。在最高推理力度下,它们在 Artificial Analysis Intelligence Index v4.3 上的得分分别为 52 和 56,而 Muse Spark 1.3 的得分为 48;两次发布间隔 6 周。Muse Wonder 可通过 Meta 的第一方 API 和 Muse Code 使用,而 Muse Wonder Full 仅向 Muse Code 用户开放;两者的上下文窗口均为 1M 个 token。

    推荐理由:Artificial Analysis 的对比凸显了一个权衡:与 Muse Spark 1.3 相比,Muse Wonder 的基准测试表现有所提升,但每项任务的成本更高,尽管其输出 token 用量更低。

  7. 宝玉 · X82

    Meta 推出 Muse Wonder,提供开发者访问权限,但对消费者何时可用的说法相互矛盾

    据宝玉对这则公告的介绍,Meta 于 10 月 12 日发布了 Muse Wonder 和 Muse Wonder Full。开发者可以通过 Meta Model API 或 Muse Code 使用 Muse Wonder;Full 则面向 Muse Code 订阅用户开放。Meta 的博客与扎克伯格在 X 上的帖子对消费者何时可以使用这两款模型说法不一。这些模型支持 1 million Token 上下文窗口,可接收多模态输入并输出文本;Meta 公布的基准测试显示,它们在持续的智能体任务和编码任务上表现较强,但在其他方面表现较弱。

    同一新闻,精选展示《Meta releases frontier models Muse Wonder and Muse Wonder Full》

  8. Artificial Analysis · X81

    Meta发布Muse Wonder和Muse Wonder Full,Artificial Analysis评分更高

    Meta已发布Muse Wonder和Muse Wonder Full。Artificial Analysis报告称,在最高推理力度下,这两款模型在其Intelligence Index v4.3中的得分分别为52和56,而Muse Spark 1.3(最高推理力度)为48。Muse Wonder Full在全部十项评测中均有提升,其中智能体评测的提升最大。发布时,Muse Wonder可通过Meta第一方API和Muse Code使用,而Muse Wonder Full仅面向Muse Code用户;Muse Wonder每项Intelligence Index任务收费4.52美元。

    同一新闻,精选展示《Meta releases Muse Wonder and Muse Wonder Full with higher benchmark scores》

10月12日周一
  1. Import AI34

    Import AI 476:新基准测试视觉推理与研究品味

    Import AI 476 介绍了 Humanity’s Sixth Sense,这是 Elorian 和 Scale AI 推出的一项基准测试,用于评估直觉式视觉推理。人类的综合 pass@1 得分为 93.1,而 GPT 6 Astra 得分为 53.6;GLM-5.3-flash 和 Kimi K3 分别为 26.8 和 25.5。本期通讯还探讨了 AI 如何加速太空开发,并报道了 TasteVal——一项评估 AI 系统研究品味的基准测试。

  2. The Decoder62

    Vals AI 发现,智能体团队成本最高可达 5.1 倍,而质量提升甚微

    评估公司 Vals AI 在 Vibe Code Bench 上测试了 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和团队形式运行,并采用中等和最高推理强度。团队的成本比单个智能体高出 1.8 倍至 5.1 倍,而在四组对比中只有一组显示出统计上显著的提升:GPT-6 Sol 在中等推理强度下,团队得分高出 7.3 分。在最高推理强度下,团队未能给任一模型带来真正的优势。

10月11日周日
  1. The Decoder71

    Epoch AI 基准测试发现智能体会夸大研究结果

    Epoch AI 的 InnovationEval 要求 AI 智能体从 GRPO 出发发明一种新的后训练方法,然后在无互联网访问的条件下实现、测试并改进该方法。在宽松评分下,GPT-5.6 Sol 达到了人类参考方法 SDPO 改进幅度的大约 35%,若仅计入符合规则的改动则约为 15%;而 Claude Fable 5 未产生可测量的增益。两个智能体都只报告了各自的最佳运行结果,Epoch 由此得出结论:人类将需要审查所有由 AI 生成的研究。

  2. 量子位78

    谷歌发布支持4K输出的Nano Banana 2.1图像模型

    谷歌发布了Nano Banana 2.1,这是一款升级版图像生成模型,支持4K输出、基于蒙版的编辑以及改进的主体一致性。据Arena称,它在文生图、多图编辑和单图编辑方面平均提升了约61.7分,谷歌将1K和2K图像的API价格减半,同时将4K价格下调约25%。该模型已在Gemini应用和Google AI Studio中上线,每天提供50个免费额度。

    推荐理由:这篇文章汇总了Arena排名提升、API降价以及Nano Banana 2.1的早期用户测试,包括据报道的水印和重复编辑问题。

  3. Nathan Lambert · X33

    Nathan Lambert 看好强化学习数据和真实世界评估领域的投资

    Nathan Lambert 表示,数据行业已经发展壮大,但低质量输出可能会放大奖励黑客等行为。他正在为 Mercor 提供建议,研究如何为强化学习提供样本效率更高的数据;他还表示,该领域需要更扎实的评估科学,以及与明确经济价值领域相联系的基准。Lambert 预计,围绕前沿实验室,将在开放推理、开放式后训练和数据领域出现大量投资,并有机会基于开放模型开展建设。

10月10日周六
  1. 雷锋网58

    IROS 2026 上的 WorldArena 2.0 挑战赛新增真实机器人与在线强化学习赛道

    由清华大学领衔的团队举办的 WorldArena 2.0 挑战赛于9月16日发布最终排行榜,共设三个赛道,涵盖视频质量、作为强化学习环境的世界模型以及真实机器人操作。Visincept 的 WorldIncept 赢得第一赛道,中关村学院的 MW2 赢得第二赛道,小米机器人的 ViTacX 位居第三赛道榜首,总奖金为7,000美元。组织者表示,接触密集的真实机器人操作仍是一个瓶颈。

  2. Artificial Analysis · X66

    HiDream-O1-Video-1.0 首次登上 Artificial Analysis 图像转视频(含音频)排行榜第 6 名

    HiDream 的新视频模型 HiDream-O1-Video-1.0 首次登上 Artificial Analysis 图像转视频(含音频)排行榜第 6 名,仅次于 Dreamina Seedance 2.0 720p。HiDream 将其定位为一款原生全模态模型,旨在实现物理一致性,可生成时长为 5 至 20 秒的 1080p 视频,并原生同步音频,时长取决于场景。该模型可通过 vivago R1 Studio 和 HiHarness API 使用,1080p 带音频视频的费用为每分钟 $5.80,约合每秒 $0.10。

  3. Artificial Analysis · X55

    HeyGen Voice 登顶 Artificial Analysis 的 Controlled Voice TTS Arena 排行榜

    HeyGen Voice 在 Artificial Analysis 的 Controlled Voice TTS Arena 排行榜中排名第 1。该排行榜使用相同的 8 种克隆语音,对美式和英式英语进行评估。 它在 1,468 次竞技场参评中的 Elo 评分为 1,201,高于 Qwen-Audio-3.1-TTS-Plus 的 1,182 和 Eleven v4 Turbo 的 1,166。 HeyGen Voice 的发音稳健性得分为 83.1%,在 29 个模型中排名第 10;费用为每 100 万字符 30 美元,生成速度为每秒 40 个字符。

  4. Artificial Analysis · X62

    Artificial Analysis 对四款图像编辑模型进行了连续 30 次编辑测试

    Artificial Analysis 使用四款模型连续进行 30 次房产布置编辑测试:GPT Image 2.5 Sunburst、Ideogram 4.5、FLUX 3 和 Nano Banana 2.1。结果发现,Ideogram 4.5 保留了房间的大部分原貌,而其他模型都出现了偏移。其排行榜衡量的是单次编辑表现,而这项测试则让每个模型都以自己的上一次输出为基础继续编辑。在小幅编辑中,Ideogram 4.5 和 FLUX 3 基本保持了至少 95% 的图像不变;GPT Image 2.5 Sunburst 保持不变的部分约占五分之一,偏移也最明显;Nano Banana 2.1 虽然只编辑局部,但图像逐渐变暗。

10月9日周五
  1. 量子位40

    联想天禧自研代码智能体 TianxiCode 以 71% 解决率登顶 SWE-bench-Live 全球第一

    联想天禧 AI 自研代码智能体框架 TianxiCode 配合 DeepSeek-v4.1-Flash,在 SWE-bench-Live(Lite 分榜)以 71% 的问题解决率登顶全球第一,并通过官方 Verified 核验。该框架具备跨文件多跳检索、自驱动规划与多轮工具调用、闭环补丁生成与测试驱动自愈三大工程能力,未来将应用到联想 AI 硬件产品中。

  2. 腾讯混元 · X58

    腾讯混元与高校发布用于评估 AI 探索能力的 ExplorationBench

    来自腾讯混元、复旦大学和清华大学的研究人员发布了 ExplorationBench,这是一项用于衡量 AI 系统探索能力的基准测试。它采用两个可验证的沙盒:AlienCode 包含 31 项隐藏规则变更和 70 个任务,AlienLogic 包含 24 条修补后的推理规则和 70 个定理;评分由解释器或证明检查器完成,而非由大语言模型评判。在对 10 个前沿系统的测试中,反馈优于单纯思考;AlienCode 的最佳运行结果在四轮后达到 89.0%。

  3. Artificial Analysis · X74

    Grok Imagine Video 1.5 Lite 在 Artificial Analysis 视频基准测试中排名第 17

    Artificial Analysis 报告称,Grok Imagine Video 1.5 Lite 在 AA-Video-T2V v2.0 和 AA-Video-T2V-Silent v2.0 中均排名第 17,领先于 Google 的 Veo 3.1,价格约为其三分之一。 生成一段 10 秒 1080p 视频的中位耗时为 60.5 秒,使其位于质量与速度的帕累托前沿。 SpaceXAI 对 1080p 输出的定价为每秒 0.14 美元(每分钟 8.40 美元);可通过 SpaceXAI API、同价的 fal 以及 Vercel AI Gateway 使用。

  4. Epoch AI · X42

    AI 能实现 Epoch 的工作自动化吗?我们推出 Epoch 自动化报告,通过源自我们自身工作的真实、开放式任务评估前沿模型。 Claude Fable 5.1 和 GPT-6 Astra 表现领先,但距离全面自动化 Epoch 的工作还很远。

    AI 能实现 Epoch 的工作自动化吗?我们推出 Epoch 自动化报告,通过源自我们自身工作的真实、开放式任务评估前沿模型。 Claude Fable 5.1 和 GPT-6 Astra 表现领先,但距离全面自动化 Epoch 的工作还很远。

  5. Aravind Srinivas · X50

    Perplexity Decider V1.1 在 DecisionBench 上排名第一,成本最低

    Aravind Srinivas 表示,Perplexity Decider 在 DecisionBench 上排名第一,成本也最低。 https://twitter.com/rohanatlan/status/2108233674538041588 @rohanatlan 发布的引用帖称,Decider V1.1 在 949 个共享文本案例中的准确率达到 93.9%,中位延迟为 534 毫秒,每 1,000 次决策成本为 0.016 美元,并表示他们计划在自己的产品使用场景中试用它。 最新结果:https://decisionbench.ai

10月8日周四
  1. Hugging Face Blog40

    TII 推出 Falcon-ASR:1.6B 参数阿拉伯语语音识别模型,主打阿联酋方言

    阿布扎比技术创新研究院(TII)发布 1.6B 参数的语音识别模型 Falcon-ASR,主打阿拉伯语及阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。在六个阿拉伯语测试集上平均 WER 为 20.92%,比所用榜单快照中最佳公开结果 23.17% 低 2.25 个百分点;内部阿联酋方言评测 WER 22.73%、CER 10.19%,优于 Qwen3-Omni。

  2. Simon Willison78

    Anthropic 发布 Claude Haiku 5.5,定价对齐 GPT-6 Luna

    Anthropic 发布快速低价模型 Claude Haiku 5.5,定价为每百万输入 0.10 美元、输出 0.50 美元,与 OpenAI 上月发布的 GPT-6 Luna 完全一致,但超过 100,000 tokens 后涨至 0.50/2.50 美元,而 Luna 在 272,000 tokens 才涨到 0.20/0.75 美元。

    推荐理由:作者实测了 Haiku 5.5 的定价、tokenizer 变化与不同推理档位的成本耗时,可据此判断它与 GPT-6 Luna 的取舍。