跳到正文

Nathan Lambert警告称,模型发布前公布的基准成绩可能很快就被超越

4篇报道 4个报道来源 5 天前更新

先了解这件事

AI 综述

Nathan Lambert认为,开发者如果在模型开放使用前公布其基准成绩,就有可能在自己发布模型之前,看到竞争对手在同一类别推出更好的模型。他的警告针对那些把模型权重、产品或 API 的访问推迟到“之后”才开放的公告;他形容这种竞争结果“几乎是板上钉钉的事”。

AI 根据报道生成 · 5 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. Gemini 4 Argon 正式发布,AI Engineer NYC 聚焦基准测试

    Google 面向全球发布了 Gemini 4 Argon,用于编程、知识工作、企业工作流和网络防御,可通过 Gemini API 和 Google 的多款产品使用。API 入门价格为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入可享受 95% 的折扣;Artificial Analysis 报告称,11 月 30 日后价格将翻倍。在 AI Engineer NYC,约 20,000 人参加了关于 AI 和金融的主题演讲,其中包括 Vals AI 首席执行官对 Argon 等模型基准测试的讨论。

10月13日
  1. AI 实验室正在从倒闭的初创公司购买数据来训练模型

    AI 实验室正在通过 SimpleClosure 和 Sunset 等公司购买已停业初创公司的代码和职场档案,用于训练模型并构建 AI 智能体练习任务的环境。SimpleClosure 的 Asset Hub 已经促成 150 多笔交易;今年 8 月,谷歌以 1000 万美元买下了 Spirit Airlines 数十年的数据。这一市场引发了有关员工隐私、同意和定价的问题,目前没有公司发布过测试,对比使用真实世界档案与其他替代方案的训练结果。

  2. Meta发布Muse Wonder和Wonder Full AI模型,迈向个人超级智能

    Meta发布了Muse Wonder和能力更强的Wonder Full AI模型。该公司称,在多项能力测试中,Wonder Full的表现接近Fable 5.1、Opus 5.5和GPT-6 Astra,在一些智能体和知识工作基准测试中的表现略好。Meta重点介绍了Active Memory功能,它能在多次对话中保留相关背景信息;以及Active Focus功能,它会持续朝复杂目标推进,并在出现新信息或障碍时调整做法。

  3. 如果你公布了某个模型的基准测试成绩,却说要“稍后”才发布(权重、产品、API 等),那在你发布之前,就几乎可以肯定会有人推出同类别中更好的模型。

    如果你公布了某个模型的基准测试成绩,却说要“稍后”才发布(权重、产品、API 等),那在你发布之前,就几乎可以肯定会有人推出同类别中更好的模型。

继续阅读

最新日报 · 第 24 期NVIDIA 与 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流水线

正在热议

  1. 1Meta 开放发布 Muse Spark Open,支持 Mac 和云端部署,位居美国开放权重模型榜首
  2. 2Google 在全球推出 Gemini 4 Argon,并扩大付费访问范围,基准测试结果不一
  3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
  4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议