阅读
了解 e/acc
创作
我的
本站
Hugging Face 推出了 StateBench，这是一项用于衡量语言模型在长文档中追踪变化信息能力的基准测试。在输入最长、难度最高的任务中，受测前沿模型的准确率不超过 13%。 StateBench 测试四个层级的追踪能力，从检索一个未发生变化的值，到跟踪引用与更新构成的链条。在直接针对这些任务训练模型的实验中，循环模型和混合模型的泛化能力远强于 Transformer；Transformer 没有学会最难的层级。
AI 根据报道生成 · 59 分钟前更新
沿着报道，了解事件的不同侧面。
Hugging Face 推出 StateBench，这是一项衡量四个层次状态追踪能力的基准测试，涵盖从检索未变的值到追踪引用链和更新。在测试中，前沿模型在最长输入的最难题目上的准确率降至 13% 或更低。直接针对这些任务训练的模型表现各不相同：循环模型和混合模型的泛化能力远超 Transformer，而 Transformer 未能学会最难的层次。
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报
还没有足够的连续观测数据，暂不绘制趋势。
