StateBench 测试语言模型如何跨长文档追踪状态

发生了什么

Hugging Face 推出 StateBench，这是一项衡量四个层次状态追踪能力的基准测试，涵盖从检索未变的值到追踪引用链和更新。在测试中，前沿模型在最长输入的最难题目上的准确率降至 13% 或更低。直接针对这些任务训练的模型表现各不相同：循环模型和混合模型的泛化能力远超 Transformer，而 Transformer 未能学会最难的层次。

接下来读什么

• 今日还有哪些重要变化通过五项核心价值观解读 OpenAI 更新后的 Model Spec

这件事到目前为止

Hugging Face 推出了 StateBench，这是一项用于衡量语言模型在长文档中追踪变化信息能力的基准测试。在输入最长、难度最高的任务中，受测前沿模型的准确率不超过 13%。 StateBench 测试四个层级的追踪能力，从检索一个未发生变化的值，到跟踪引用与更新构成的链条。在直接针对这些任务训练模型的实验中，循环模型和混合模型的泛化能力远强于 Transformer；Transformer 没有学会最难的层级。