跳到正文
K = 0.731
全部动态 · 今日8条

#大佬观点

信源抓到、进了内容池的全部内容，按时间排列；精选只是其中一部分。
9月22日周二
  1. MIT Technology Review · AI30

    别被这个夏天的 AI 炒作骗了：从 Claude Mythos 到 OpenAI Astra 的真相

    这个夏天 AI 炒作密集：Anthropic 称 Claude Mythos 找漏洞强于多数安全专家，OpenAI 与 Hugging Face 发生黑客事件，双方又相继宣称数学突破。但专家复核后认为，黑客事件更暴露 OpenAI 的安全疏忽，OpenAI 的 Astra 数学成果也被指并不新颖，甚至遭剽窃指控。

  3. Latent Space76

    TypeSafe AI 创始人 Diogo Almeida 谈 Jev 与 RLCD：为软件而非聊天造 System 1 模型

    TypeSafe AI 创始人 Diogo Almeida 在 Latent Space 访谈中介绍新模型 Jev，称其为面向代码消费的 System 1 模型，按每美元智能而非聊天体验优化，核心创新是未发表的 RLCD（Reinforcement Learning for Calibrated Decisions），用校准概率替代人类评分反馈。

    推荐理由：Diogo Almeida 复盘 RLHF 到 RLCD 的路线分歧，并解释为何把可靠性而非基准分数当作模型目标。

9月21日周一
9月18日周五
9月16日周三
  1. Demis Hassabis · X12

    Demis Hassabis 获 RSA 阿尔伯特奖章

    很荣幸获得 @theRSAorg 颁发的阿尔伯特奖章！科学与技术带来了惊人的机遇，但在即将到来的 AGI 时代，艺术与人文学科对于塑造我们作为一个社会想要看到什么样的未来至关重要。与 @FryRsquared 进行了有趣的讨论，涵盖了许多新话题：https://www.youtube.com/watch?v=rDteJAuKiBI

9月14日周一
9月13日周日
  1. Demis Hassabis · X58

    Demis Hassabis 回应 Dario Amodei 放缓前沿 AI 的提议

    Demis Hassabis 回应 Dario Amodei 关于 AI 行业应放缓前沿模型开发的新文章，认为其方向正确，但细节仍需推敲。他同时提到自己近期提出的前沿 AI 行业标准机构提案，作为应对这一关键节点的另一条路径。Dario Amodei 在文中提出三部分放缓计划，并称 Anthropic 将单方面先落实第一步，向第三方评估者提供员工级永久访问权限，以核查安全措施执行、报告事故并评估训练中的模型对齐情况。

  2. John Schulman · X64

    John Schulman 欢迎引入外部评估人员，并支持为 AI 前沿发展设定节奏

    John Schulman 称，引入外部评估人员是一个重大进展，并称赞 Sam/OpenAI 也同意这样做；他还欢迎“为前沿发展设定节奏”这一说法迅速得到广泛关注。 在被引用的帖子中，Dario Amodei 宣布发表一篇文章，提出一项由三部分组成的计划，旨在放缓 AI 行业的发展，并表示 Anthropic 将向第三方评估人员提供永久的、与员工同级的系统访问权限，以核实安全措施、报告事件，并在训练期间评估对齐情况。 https://darioamodei.com/post/we-must-pace-the-frontier

9月12日周六
  3. Thinking Machines · X34

    Thinking Machines 的 John Schulman 谈模型自我改进之际，人类判断力在哪些方面仍然重要

    我们的 @johnschulman2 与 Dwarkesh 对谈，聊到随着模型不断改进并自我改进，人类判断力在哪些方面仍然重要：教会模型处理混乱的现实任务，对什么能长期奏效形成判断，以及最重要的是，明确我们真正想要什么。 @dwarkesh_sp 发布的引用帖文（背景信息，并非主要作者的作品）： 与 @johnschulman2、@oneill_c 和 @BerenMillidge 的新一期节目。 我邀请了几位我认识的、最有洞见且在较为开放的公司工作的 AI 研究人员一起交流，因为我想了解前沿领域实际发生的事情的细节，以及接下来会发生什么。 0:00:00 – 为反对 RSI 的论点作最有力的辩护 0:18:39 – 中国实验室的进展由什么推动 0:28:06 – 如何训练自动化 AI 研究员 0:33:51 – 长时程 RL 能否催生 AGI？ 0:45:24 – 从模拟到现实的差距 1:00:33 – 有多少进展可以归因于数据？ 1:18:03 – 为什么 RL 如此有效？ 1:24:54 – 第 37 手与熵坍塌 1:28:31 – 快问快答：时间线

9月11日周五
  1. Jan Leike · X19

    现在是建立制度机制、为前沿人工智能发展设定节奏的好时机。行业正陷入一场不遗余力的扩规模竞赛，力求尽快打造超级智能，而我们可能需要给所有人更多时间来完善安全与对齐方面的缓解措施。

    现在是建立制度机制、为前沿人工智能发展设定节奏的好时机。 行业正陷入一场不遗余力的扩规模竞赛，力求尽快打造超级智能，而我们可能需要给所有人更多时间来完善安全与对齐方面的缓解措施。

  2. John Schulman · X44

    John Schulman称用户数据可能只在前沿模型的提升中发挥有限作用

    John Schulman表示，使用用户数据进行训练极不可能对前沿模型的数学能力提升有多大贡献，他将这种提升归因于扩大预训练规模和RLVR。他说，用户数据或许有助于发现受雇标注人员难以轻易复现的失败模式，并呼吁制定更严格的信息披露规范，说明公司如何使用用户数据训练，以及旨在提升哪些能力。

9月9日周三
9月6日周日
9月4日周五
  2. Jim Fan · X46

    Jim Fan 重访 OpenAI 2016 年的 World of Bits，并祝贺 GPT-6

    Jim Fan 回忆说，2016 年，OpenAI Universe 中的一个智能体利用屏幕像素和鼠标移动预订了联合航空的航班。他表示，该项目的方法——从头开始训练，并为每项任务手工绘制奖励函数——注定会失败；他还描述了计算机操作智能体需要先接受广泛训练，再专门学习处理屏幕像素和按键输入。他祝贺 GPT-6 如今能够可靠地预订那趟航班。

  3. Sébastien Bubeck · X31

    认识一下 Astra 的 TikZ 独角兽。我觉得令人难以置信的是，一个实体竟然能做到这一点，还能在 Frontier Math Tier 4、ARC-AGI 3 和 ExploitBench 上取得几乎 100% 的成绩。而且它并非藏在闭门之中，任何人都可以直接去和它交谈。其影响怎么强调都不为过。

    认识一下 Astra 的 TikZ 独角兽。 我觉得令人难以置信的是，一个实体竟然能做到这一点，还能在 Frontier Math Tier 4、ARC-AGI 3 和 ExploitBench 上取得几乎 100% 的成绩。而且它并非藏在闭门之中，任何人都可以直接去和它交谈。其影响怎么强调都不为过。

8月20日周四
  1. Jim Fan · X54

    Jim Fan 分析 GEN-1.5 中的重复、恢复与 UMI

    Jim Fan 认为，GEN-1.5 的潜力来自自然重复的人类示范、得以保留并能教会机器人如何恢复的失败，以及 UMI——人类戴着机器人夹爪即可直接采集数据。他指出，遥操作会让人失去对物理世界的直觉；数据充足时，机器人无需微调也能实现零样本行为，例如拿起新颖物体。他仍持谨慎乐观态度，并指出，上下文学习取决于训练条件与测试条件之间的差异，目前的演示过于简单，尚不足以得出结论。

8月17日周一
8月2日周日
8月1日周六
  1. Thinking Machines · X38

    不加区分地发布模型权重并不安全。把强大模型只留在少数几家实验室也不安全。我们认为两者之间存在一条可行之路，但还没有摸清它的全貌。我们的新文章介绍了目前看得到的部分：我们如何评估 Inkling，以及为什么应该分阶段扩大访问权限。https://thinkingmachines.ai/blog/a-safe-path-to-open-weights

    不加区分地发布模型权重并不安全。把强大模型只留在少数几家实验室也不安全。 我们认为两者之间存在一条可行之路，但还没有摸清它的全貌。我们的新文章介绍了目前看得到的部分：我们如何评估 Inkling，以及为什么应该分阶段扩大访问权限。 https://thinkingmachines.ai/blog/a-safe-path-to-open-weights

7月26日周日
7月25日周六
  1. Jim Fan · X59

    Jim Fan 称赞 Jensen Huang 关于开放模型为何重要的表态

    Jim Fan 对 Jensen Huang 的帖子作出回应：“求知若渴，虚心若愚。绝对的传奇。” Huang 分享了一封由 NVIDIA 签署的信。信中称，开放模型能够增强安全性和网络安全、加速创新与传播，并实现主权。他表示，世界既需要前沿闭源模型，也需要前沿开放模型。 https://images.nvidia.com/pdf/Open-Weights-and-American-AI-Leadership.pdf

6月27日周六
  1. Oriol Vinyals · X10

    Oriol Vinyals 回忆 Wojciech Zaremba 曾想撤下 RNN Regularization 论文

    趣闻：大约一年后，@woj_zaremba 想让那篇论文彻底消失。不过我忘了原因——Woj？ @OfirPress 的引用帖：我于 2016 年 1 月开始研究语言建模，使用 @woj_zaremba、@OriolVinyalsML 和 @ilyasut 提出的“RNN Regularization”模型中的 LSTM，尝试降低它在 Penn Treebank（100 万个词元）上的困惑度。这促成了权重绑定方法，这种方法有时至今仍在使用。

5月26日周二
5月6日周三
2月28日周六