百度发布并开源 Unlimited OCR 2，降低长文档 KV 缓存用量

发生了什么

百度发布并开源了 Unlimited OCR 2，用于连续解析长文档。其技术报告将稀疏参考滑动窗口注意力与分块解码相结合；在一项百页规模的单序列测试中，峰值 KV 缓存用量从 47GB 降至 1.77GB，该数据不包括模型权重及其他内存开销。在另一项 16 路并发测试中，吞吐量从每秒 360 个 token 提升至 1315 个；QbitAI 还报道称，解析《指环王》英文版（884 页）约耗时 42 分 56 秒。

接下来读什么

• 今日还有哪些重要变化Mistral 发布改进版 Mistral Large 4 开放权重模型，面向编程和网络安全

2 家信源报道

这件事到目前为止

百度发布并开源了文心无限OCR 2，并在 GitHub 和 Hugging Face 上提供其代码和模型权重，同时通过百度智能云和百度AI开放平台提供该模型。百度称，该模型解析文档时没有页数限制。 据量子位报道，该模型的技术报告结合了稀疏参考滑动窗口注意力和分块解码，在百页规模的单序列测试中，将 KV 缓存峰值占用从 47GB 降至 1.77GB。这些数据不包括模型权重和其他内存开销。在一项单独的 16 路并发测试中，吞吐量从每秒 360 个 token 提升至每秒 1315 个 token。量子位还报道，该模型解析英文版《指环王》（共 884 页）用时约 42 分 56 秒。 据雷锋网报道，该模型在 MPDocBench 和 MarathonDocBench 上分别获得 84.6 分和 77.1 分；使用其 SR-SWA 注意力机制处理百页文档时，单步解码速度比 Full Attention 快七倍。