1.1万 次浏览 · 194 赞 · 11 转发 （收录时）
Artificial Analysis 报告称，开放权重模型在封闭基准测试中的差距扩大
- 谁
- Ethan Mollick
- 引文
Artificial Analysis finally moves to closed benchmarks (goodbye GDPval-AA), and finds that open weights models are falling further behind than they had previously measured.
发生了什么
Ethan Mollick 表示，Artificial Analysis 转向封闭基准测试后，开放权重模型之间的差距显得更大，同时提醒人们谨慎看待这些发现。Artificial Analysis 报告称，权重尚未发布的 Kimi K3.1 Pro 在 v5 中得分为 46，落后领先者 12 分；而在 v4.3 中，差距为 3 分。在已发布权重的模型中，DeepSeek V4.1 Flash 1017 (max) 和 GLM-5.3 (max) 以 32 分并列领先，低于 Claude Haiku 5.5 (max)。 https://twitter.com/ArtificialAnlys/status/2115265171233120627
接下来读什么
查看这件事的完整进展修订后的 Artificial Analysis 指数将 Kimi K3.1 Pro 排在第九位，该模型正式发布Artificial Analysis finally moves to closed benchmarks (goodbye GDPval-AA), and finds that open weights models are falling further behind than they had previously measured. Take with a grain of salt, but matches the general vibes that we haven't seen a Fable-class open model. https://twitter.com/ArtificialAnlys/status/2115265171233120627
Open weights models fall further behind in v5. The leader, Kimi K3.1 Pro (weights not yet released), scores 46, 12 points behind the leader, compared with a 3-point gap in v4.3. Of models with released weights, DeepSeek V4.1 Flash 1017 (max) and GLM-5.3 (max) score highest at 32, and Claude Haiku 5.5 (max) outscores all of them. The gap is widest on HLE-Diamond and Terminal-Bench-Science, where Kimi K3.1 Pro scores 37% and 34%, compared with 68% for Claude Opus 5.5 (max) and 63% for GPT-6 Astra (max).在 X 查看被引用的帖子
这件事到目前为止
Moonshot AI 通过其应用和 API 发布了 Kimi K3.1 Pro，但尚未公开其模型权重；修订后的 Artificial Analysis Intelligence Index 现将其排在第九位，位于八款闭源模型之后。The Decoder 报道称，版本 5 将该指数的 60% 权重分配给私有测试集，以应对模型针对已知问题进行训练的情况。K3.1 Pro 得分为 46 分，比榜首低 12 分；在 4.3 版中，它以 55 分排名第四，比 Claude Opus 5.5 低 3 分。Ethan Mollick 提醒人们谨慎解读修订后的结果。Simon Willison 报道称，Moonshot 承诺在 2026 年 11 月 4 日前公开模型权重。 在 Artificial Analysis 单独发布的 Cyber Index 中，K3.1 Pro 得分为 64%，在公开可用模型的智能体网络防御能力方面领先；但仍落后于获准访问的 GPT-6 Sol（Daybreak Blue，max），后者得分为 69%。Artificial Analysis 表示，K3.1 Pro 在该指数的三项基准测试中均未触发安全拒绝。其单项任务成本为 2.81 美元，尽管每个 token 的价格低了 33%，但仍比 Kimi K3 高 15%。 Willison 报道称，标准 API 价格为每百万输入 token 2 美元、每百万输出 token 10 美元。Moonshot 表示，Highspeed 变体的运行速度快两到三倍；Willison 报道称，其费用是标准版的两倍，但输入 token 缓存命中仍按标准价格计费。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-30