RockMatrix 发布开放权重模型 EdgeRock-4B，采用固定大小的注意力 KV 缓存

RockMatrix 与香港科技大学、卡内基梅隆大学及其他高校共同发布了 EdgeRock-4B，用于文本和图像推理，并公开提供其模型权重和推理代码供商业使用。该模型基于 Qwen3.5-4B 改编，采用一种名为 Rock Memory Anchors 的机制，将注意力 KV 缓存保持在 72 MiB；据报告，在 256K 上下文长度下，缓存缩减了 99.1%。 据报告，在单张配备 80GB 内存的 Hopper GPU 上，使用 32K 输入 token 和 32K 输出 token 进行测试时，EdgeRock-4B 在 512 个并发序列下达到每秒 12,124 个 token，吞吐量为源模型的 6.42 倍。报告还称，它保留了源模型在 AIME 2024–2026 测试中的平均通过率的 96.3%。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。