跳到正文
全部动态 · 今日4条

#评测/基准

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
今天10月17日周六
  1. 量子位67

    优必选推出 Thinker-WM,将视频、深度和机器人动作统一到一个世界模型中

    优必选推出多模态世界模型 Thinker-WM,通过共享的 Unified Dynamics Transformer 联合建模 RGB 视频、深度和机器人动作。优必选提供并由 QbitAI 转载的材料称,该模型在 WorldOlympiad、EWMBench 和 WorldArena1.0 Track-1 上取得领先成绩,其中 WorldOlympiad 得分为 0.740,EWMBench 得分为 4.66。该模型通过共享权重支持六种能力模式;与不使用深度的基线相比,加入深度后,RoboTwin 单任务成功率提高了 15 个百分点。

  2. Artificial Analysis · X27

    Artificial Analysis 表示,Optima 让创建和运行自定义基准测试更加轻松

    随着我们最近的更新,在 Optima 中创建和运行自定义基准测试现在比以往任何时候都更容易。你可以据此使用针对自身用例定制的评测来评估模型 使用 Optima,你可以: ➤ 只需 3 个步骤,就能将想法转化为个性化基准测试 ➤ 比较模型智能水平,https://t.co/xQ4U35CCml

  3. The Verge · AI77

    一周使用 Nvidia RTX Spark 笔记本电脑:性能优势与实际取舍

    The Verge 的三位评测人员花了一周测试五款 Nvidia RTX Spark 笔记本电脑,发现它们图形性能出色,Windows on Arm 应用总体上也能正常使用,但价格高昂,CPU 性能弱于 Apple 的竞品,而且运行本地 AI 工作负载要求很高。Sean Hollister 的 Asus ProArt P16 在日常工作中续航约 5 小时至 5 小时 40 分钟。他们进行本地 AI 实验时遇到了明显的电量消耗、发热、响应缓慢和结果不稳定等问题,尽管这些配置提供了最高 128GB 的统一内存。

    推荐理由:这些实测对比展示了大容量统一内存和出色图形性能在本地 AI 工作负载、电池续航和软件兼容性方面带来的日常取舍。

10月16日周五
  1. The Decoder78

    Google 的 Gemini 4 Argon 比数月来任何一款 Google 模型都更接近 AI 前沿

    Google DeepMind 的 Gemini 4 Argon 使用 Provider Adapter Harness 得分 97.5%,完成 ARC-AGI-3 测试,成本为 4,800 美元,低于 GPT-6 Astra 的 99.9%。在 Standard Harness 的低推理设置下,其得分降至 49.8%;由于 API 问题,测试未能完成所有游戏。Epoch AI 给 Argon 评定了 165 个 ECI 积分,与 Opus 5.5 和 GPT-6 Astra 相近,不过早期估算将其列为数学能力第八、软件工程能力第六。

    推荐理由:这一比较显示,测试环境会如何改变基准排名,有助于理解 Argon 与领先模型的接近程度,同时也能看到它在数学和软件工程方面较弱的表现。

  2. Aravind Srinivas · X70

    Perplexity 接入 Gemini 4 Argon,称其在 WANDR 基准测试中创下新高

    Aravind Srinivas 表示,Gemini 4 Argon 在 Wide-And-Deep-Research(WANDR)基准测试中创下新的 SoTA,目前已向所有 Perplexity 用户开放,可用于快速搜索和 Computer(智能体)模式。https://t.co/0U671BhbMj 被引用的 @perplexity_ai 公告称,该功能面向 Pro 和 Max 订阅用户开放。https://t.co/n1TyI9RhBX

    推荐理由:该帖称快速搜索和 Computer 模式均可使用,但其更广泛的开放范围说法,与被引用公告中仅限 Pro 和 Max 订阅用户的说法不同。

  3. TechCrunch · AI73

    Jev 是 Vercel 有史以来采用速度最快的 AI 模型

    Jev 在发布后的两周内便被 35% 的付费团队采用,这是 Vercel 记录到的最快采用速度,覆盖范围接近 Sonnet 5.5 的两倍。Typesafe AI 的轻量级决策模型会从预先确定的输出中进行选择,以更低成本、更快地完成分类。这些数据来自 Vercel 的 AI 网关,可能低估了使用自有 API 的提供商;开源模型目前占网关令牌用量的 70% 以上,支出占比接近 25%。

  4. Artificial Analysis · X59

    Liquid AI 发布 d1-ultra,在 Artificial Analysis Decision Index v1.0 中位居榜首

    Liquid AI 已发布 d1-ultra。据 Artificial Analysis 报告,该模型以 65 分在其 Decision Index v1.0 中位居榜首。在 AA-Omniscience-Decision 基准上,其非幻觉率从 d1 的 2% 升至 85%,而准确率从 41% 降至 32%。这项非幻觉指标衡量的是:对于模型未能正确回答的问题,它表示自己不知道的频率。d1-ultra 每项任务耗时 92 ms,每 1M 个输入 token 收费 $0.042,且仅按输入 token 计费。

  5. Artificial Analysis · X72

    NVIDIA Vera Rubin NVL72 初步 AA-AgentPerf 测试结果出炉,与 GB300 NVL72 对比

    Artificial Analysis 报告称,在 AA-AgentPerf 的初步测试结果中,NVIDIA Vera Rubin NVL72 在 DeepSeek V4 Pro 上的每兆瓦吞吐量最高可达 GB300 NVL72 的约 5.7 倍。其优势在单用户速度较快时最大;在测试的四款模型中,峰值吞吐量增幅为 1.14 倍至 1.45 倍。NVIDIA 提交的所有 Vera Rubin 测试结果均使用 TensorRT-LLM 和搭配 NVIDIA Dynamo 的 vLLM;该基准会重放真实的智能体编程会话,并测量每兆瓦实测 GPU 功耗对应的吞吐量以及每个智能体的输出速度。

  6. Artificial Analysis · X79

    Meta 发布 Muse Spark Open,在 Artificial Analysis Intelligence Index 上获得 39 分

    Meta 发布了 Muse Spark Open,这是一个 816B(42B 激活参数)的开放权重模型。Artificial Analysis 报告称,该模型在其 Intelligence Index 上得分为 39,使其成为美国排名第一的开放权重模型。 Muse Spark Open(xhigh)的得分比 Muse Glimmer(high,17 分)高 22 分。Muse Glimmer 是 Meta 的 30B 稠密开放权重模型。https://t.co/jf31mQNINe

    推荐理由:这一比较显示,Muse Spark Open 在同一智能指数上的得分比 Muse Glimmer 高 22 分,为 Meta 开放权重模型之间所报告的能力差距提供了具体参照。

  7. Artificial Analysis · X55

    RTX Spark 笔记本电脑用时 18.7 分钟完成 Artificial Analysis 本地智能体工作负载

    NVIDIA 的 RTX Spark N1X 将最高 128 GB 统一内存和 Blackwell GPU 集成在一台 Windows 笔记本电脑中。在 Artificial Analysis 首批 AA-AgentPerf-Local 测试结果中,一台 RTX Spark 笔记本电脑用时 18.7 分钟,在 Qwen3.8 27B 上完成本地智能体工作负载。 Artificial Analysis 将 RTX Spark 的 N1X 芯片描述为本质上就是 GB10,并附上链接 https://t.co/520A4lOOdB

  8. François Chollet · X81

    Chollet 比较 Gemini 4 Argon 与 Astra 在 ARC-AGI-3 上的表现

    François Chollet 表示,Argon 在 ARC-AGI-3 上的表现特征与 Astra 相似,并补充说 Google 已重返前沿。https://t.co/a6GGEsMN4A 被引用的 ARC Prize 帖子报告了 Gemini 4 Argon 经验证的 ARC-AGI-3 结果:使用提供方适配器测试框架时为 97.5%、$4.8K,使用标准测试框架时为 49.8%、$5.8K;此外,在 ARC-AGI-2 上为 91.3%、$0.32/task,在 ARC-AGI-1 上为 98.5%、$0.16/task。https://t.co/8siwgfBJcr

    推荐理由:报告的 ARC-AGI-3 分数区分了提供方适配器测试框架和标准测试框架的结果,为 Chollet 将 Argon 与 Astra 进行比较以及他对 Google 前沿地位的评估提供了背景。

10月15日周四
  1. The Decoder81

    GPT-6-Astra 每题花费 2.40 美元,解决了 50 道物理研究问题中的 49 道

    GPT-6-Astra 在 OpenAI 的 Codex 环境中运行,未获得人类提示,解决了 TheoPhysEval 涵盖十一个理论物理子领域的 50 道题中的 49 道,总花费略低于 116 美元。Anthropic 的 Opus 5.5 得分为 92%,而两款模型在无法访问互联网时都达到了 92%。研究人员强调,该基准测试的是运用已知方法进行计算的能力;而选择有前景的研究问题,对当前的智能体来说仍是另一项挑战。

    推荐理由:该基准区分了完成具体物理计算的熟练程度与选择有价值研究问题的能力,厘清了高分实际衡量的是科学工作中的哪些部分。

  2. Epoch AI · X51

    Gemini 4 Argon 在 Epoch AI 能力指数上得分 165

    Gemini 4 Argon 在 Epoch 能力指数(ECI)上得分 165,与 Fable 5.1(165)持平,但低于 Opus 5.5(167)和 GPT-6 Astra(166)。 尽管落后于 ECI 前沿水平,Argon 仍是自 2 月的 Gemini 3.1 Pro 以来 Google 最接近前沿水平的模型,且相比 Gemini 3.8 Flash(157)有大幅提升。 https://t.co/PvZvD4KyvI

  3. Artificial Analysis · X56

    Claude Opus 5.5 和 Grok 4.7 在线下 3D 构建中还原了埃菲尔铁塔上的 72 个姓名

    Artificial Analysis 要求 AI 模型在线下以 3D 方式构建埃菲尔铁塔。Claude Opus 5.5 和 Grok 4.7 按正确顺序列出了镌刻在塔上的 72 位科学家、工程师和数学家的姓名,尽管双方共用的任务说明从未提及这些姓名。 Claude Opus 5.5 还将每组姓名与其在巴黎的朝向对应起来。两个模型都在无法访问互联网的情况下以智能体方式工作;这些姓名首次出现在它们生成的代码中,从未出现在它们读取的文件或工具输出里。

  4. The Decoder62

    谷歌称,自我改进型 AI 还远未实现

    谷歌工程师海登·贝尔菲尔德表示,尽管自动化程度大幅提高,谷歌 DeepMind 尚未发现 AI 推动 AI 研究加速的可衡量证据。AI 编写了超过 75% 的生产代码,但每项改动在提交前都会经过人工审核;Argon 能完成 RE-Bench 的 74 项机器学习工程任务中约一半。谷歌的通用能力指数显示 Gemini 的能力稳步提升,但没有出现具有统计显著性的加速,这与研究人员关于可能出现智能爆炸的警告形成对照。

  5. Artificial Analysis · X62

    Artificial Analysis 基准测试 AMD MI355X 与 NVIDIA 系统在编码智能体工作负载上的表现

    Artificial Analysis 正将 AMD MI355X 的结果纳入 AA-AgentPerf。该基准会重放真实的编码智能体会话,并模拟提示缓存和工具调用延迟。 在单台 8-GPU 节点上,对于 DeepSeek V4 Pro 0813,在每位用户 35 至 75 tok/s 的范围内,MI355X 的每兆瓦吞吐量比 B200 高约 15% 至 40%。DeepSeek V4.1 Flash 在单个智能体场景下达到 NVIDIA Blackwell 的性能,但随着负载上升则有所落后;GLM-5.2/5.3 和 Kimi K3 的表现也落后于所比较的 NVIDIA 系统。 结果使用 ROCm nightly 以及 vLLM 和 SGLang 的开发版本;Kimi K3 的比较采用 NVIDIA 多节点配置。

  6. Artificial Analysis · X72

    Grok Voice 3.0 以 86.9 分领跑 Artificial Analysis 语音到语音指数

    Artificial Analysis 通过 SpaceXAI Realtime API 使用 Rex 声音评测了 SpaceXAI 的 Grok Voice 3.0,报告称其语音到语音指数得分为 86.9,排名第 1,高于 Grok Voice 2.0 的 81.3。它在竞技场偏好排名中位列第 3,任务成功率以 94.8% 位列第 1。在 Big Bench Audio 上,平均首次音频响应时间为 0.81 秒,而 Grok Voice 2.0 为 0.70s;输入音频价格仍为每小时 $4.80。

10月14日周三
  1. Alexandr Wang · X30

    Alexandr Wang 在 noahbench 上“时髦亮相”

    @itsnoahd 表示,Muse Wonder(非完整版)在 Noahbench 上排名第 4,略低于 Opus 5.5,并称其性价比与速度的综合表现“完美”。他们说每项任务需要 10 分钟。Alexandr Wang 称这是“在 noahbench 上时髦亮相”。https://t.co/VLAlRoBsDN

  2. Artificial Analysis · X55

    AA-AgentPerf 新增了 DeepSeek V4.1 Flash 在 NVIDIA 和 AMD 硬件上的基准测试

    Artificial Analysis 将 DeepSeek V4.1 Flash 纳入 AA-AgentPerf。该基准测试工具会重放真实的智能体编程会话,并模拟提示缓存和工具调用延迟。按每位用户 100 tokens/s 的输出速度计算,GB300 以约 261M tokens/s per MW 领先,其次是约 220M 的 B300 和约 128M 的 MI355X。与 DeepSeek V4 Pro 0813 相比,V4.1 Flash 在 Artificial Analysis Intelligence Index 上得分为 39,而 V4 Pro 0813 为 36;在这一用户输出速度下,V4.1 Flash 的每 MW 吞吐量约为后者的 1.3 倍至 6.2 倍,具体取决于硬件。

  3. Alexandr Wang · X26

    Alexandr Wang敦促Muse Wonder投资其科技树

    @Hesamation 正在用他们从小玩到大的战略游戏《Stronghold Crusader》对模型进行基准测试。他们说,Muse Wonder在一台旧笔记本电脑上玩这款游戏“看起来简直太有意思了”,还说他们测试了Opus、Sol、GLM flash、Kimi K3等模型。 Alexandr Wang回应道:“来吧 Muse Wonder 我相信你 把资源投到你的科技树里啊啊啊啊” https://t.co/dSUEmGVxV7

  4. Artificial Analysis · X46

    Claude Sonnet 5.5 在 Coding Agent Index 上以最高努力设置获得 68 分

    在 Claude Code 中,Sonnet 5.5 以最高努力设置在 Coding Agent Index 上获得 68 分,以 xhigh 设置获得 63 分。xhigh 设置每项任务花费 $3.33,而最高设置为 $14.19;少 5.5 个 Index 分,成本降低 77%。最高设置生成的输出 token 数量是前者的 4.8 倍,执行轮数是前者的 3.4 倍,同时三项基准测试的得分均有所提高;最大提升出现在 Terminal-Bench 4.0 上,得分从 58.1% 升至 66.2%。

  5. Artificial Analysis · X69

    Artificial Analysis 新增提供商级缓存命中率和每任务成本

    Artificial Analysis 现已公布其追踪的模型端点的缓存命中率,以及开放权重模型的提供商级每任务成本。 缓存命中率通过多轮智能体编程任务测得;提供商成本比较使用各模型在 Intelligence Index 测试中相同的 token 数量。 GLM-5.3(max)的成本相差约 9 倍,从 Makora 的 0.92 美元到 Nebius 的 8.68 美元,差异主要源于输入定价,尽管两者的缓存命中率都很高。在 21 家提供商(25 个端点)中,缓存命中率介于 41% 至 100%。

  6. The Verge · AI58

    Ray-Ban Meta Audio 眼镜评测:我并不想念摄像头

    Victoria Song 认为,不带摄像头的 Ray-Ban Meta Audio 眼镜佩戴舒适,作为开放式耳机也很实用;不过,她觉得 Muse Spark 主要在处理简单请求和设置提醒时才有帮助。她的评测机连续两个完整工作日都无需放回充电盒,但声音会外泄,周围环境嘈杂时音频体验也会受影响。去掉摄像头让她在公共场合佩戴智能眼镜时更自在,不过她指出,这并未解决更广泛的隐私问题,而且以眼镜目前的功能来看,价格偏高。

  7. Artificial Analysis · X78

    Fish Audio 的 Drama 3 Preview 在 Artificial Analysis TTS 排名中领先开放权重模型

    Artificial Analysis 报告称,Fish Audio 的 Drama 3 Preview 在其全部三个文本转语音排行榜中均位列开放权重模型第 1,并在所有模型的发音稳健性排名中领先。其发音稳健性得分为 93.2%,高于 Eleven v4 的 91.7% 和 Eleven v4 Turbo 的 90.1%;在 Provider Voice 中排名第 10,在 Controlled Voice 中排名第 14。其权重可在 Hugging Face 上获取,遵循 Fish Audio Community License;Fish Audio API 的价格为每 100 万字符 15 美元。

    推荐理由:该比较将发音稳健性与语音偏好排名区分开来,展示了 Drama 3 Preview 在一项指标上的领先优势与其在其他排名中的位置有何不同。

  8. Artificial Analysis · X87

    Gemini 4 Argon 达到 GA,在 Artificial Analysis 智能指数上追平 GPT-6 Astra

    Artificial Analysis 报告称,Gemini 4 Argon 现已达到 GA,在其智能指数上的表现追平 GPT-6 Astra;截至 11 月 30 日,在折扣定价下,每项任务的成本为后者的 60%。 Argon 每项任务收费 $1.99,每 100 万输入/输出 token 分别收费 $2/$10;11 月 30 日后,价格将升至 $4/$20,缓存读取可享 95% 折扣。 Artificial Analysis 还报告称,Argon 在智能体评测中的表现大幅提升,并在 AA-Omniscience 上的幻觉率为 15%;在其智能指数得分达到 45+ 的模型中,这一比率最低。

    推荐理由:该比较将智能得分与任务成本分开呈现,说明 Argon 的临时定价如何使其在智能水平相近时,相较 GPT-6 Astra 具备成本优势。