Ai2发布基准测试：LLM对研究新颖性的判断取决于评估设置

Ai2发布了《旧想法，新问题》（Old Ideas, Novel Problems），这项研究和基准测试用于评估大型语言模型判断科学研究想法新颖性的可靠程度。研究发现，结果会受评估设置影响。此次发布的内容包括数据、代码和可重复使用的评估流程。 在研究中，仅更改提示词，就使GPT-5.4在由人工和AI生成想法组成的配对上的准确率从93.5%降至40.9%。这些准确率分数取决于这样一种标签假设：生成的想法新颖性较低。Ai2还发现，检索和额外推理并未始终改善结果，而两种专用评估器的表现都不如简单提示的Claude Opus 4.6基线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。