Ai2 研究发现，LLM 对研究新颖性的判断会受到评估设置的影响
Can we trust LLMs to judge whether a research idea is novel?
- 谁
- Ai2
- 引文
Today we’re releasing Old Ideas, Novel Problems , a new study of how reliably large language models can evaluate the novelty of scientific research ideas.
发生了什么
Ai2 发布了《旧想法，新问题》（Old Ideas, Novel Problems）研究，其中包含一个基准、数据、代码和一套可复用的流程，用于评估研究新颖性判断器。更改提示词后，GPT-5.4 在人类生成与 AI 生成的想法配对上的准确率从 93.5% 降至 40.9%；这些标签假定 AI 生成的想法新颖性较低。检索和额外推理并未始终带来改进，而两个专用评估器的表现不如一个简单提示的 Claude Opus 4.6 基线。
推荐理由
这项研究表明，只用人类论文评估新颖性判断器，可能会忽略其在 AI 生成想法上的提示敏感性；研究也为选择符合预期用途的评估数据提供了具体依据。
接下来读什么
查看这件事的完整进展Ai2发布基准测试：LLM对研究新颖性的判断取决于评估设置这件事到目前为止
Ai2发布了《旧想法，新问题》（Old Ideas, Novel Problems），这项研究和基准测试用于评估大型语言模型判断科学研究想法新颖性的可靠程度。研究发现，结果会受评估设置影响。此次发布的内容包括数据、代码和可重复使用的评估流程。 在研究中，仅更改提示词，就使GPT-5.4在由人工和AI生成想法组成的配对上的准确率从93.5%降至40.9%。这些准确率分数取决于这样一种标签假设：生成的想法新颖性较低。Ai2还发现，检索和额外推理并未始终改善结果，而两种专用评估器的表现都不如简单提示的Claude Opus 4.6基线。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-27