斯坦福研究发现，44% 的大语言模型研究发现已过时
Rapid LLM development is outrunning the research meant to explain it, study finds
- 谁
- Stanford researchers Owen Queen and James Zou
- 引文
Stanford researchers Owen Queen and James Zou tested 50 widely cited claims about large language models against 20 models and found that 44 percent have already "expired."
发生了什么
斯坦福研究人员 Owen Queen 和 James Zou 针对 20 个于 2024 年 7 月至 2026 年 9 月发布的模型，检验了 50 项被广泛引用的大语言模型相关主张。他们发现，44% 的主张已过时，34% 的主张显著减弱；在有估计失效日期的研究发现中，平均有效期为 15.7 个月。不同模型的结果差异很大，因此研究人员建议记录模型版本、日期、提示词和分析代码。
接下来读什么
查看这件事的完整进展斯坦福研究人员发现，许多关于大语言模型的研究结论已过时这件事到目前为止
斯坦福研究人员欧文·奎因和詹姆斯·邹发现，在针对 2024 年 7 月至 2026 年 9 月发布的 20 个模型进行测试后，50 条被广泛引用的大语言模型相关结论中，有 44% 已过时。另有 34% 的结论效力显著减弱，而那些估算了有效期的研究发现平均持续了 15.7 个月。 不同模型的测试结果差异很大。奎因和邹建议研究人员记录模型版本、测试日期、提示词和分析代码，以便其他人评估研究结论随着时间推移仍有多大效力。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-11-03