RockMatrix与大学合作伙伴发布EdgeRock-4B,KV Cache大小固定
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型
- 谁
- Rock Matrix
- 时间
- 引文
这就是 岩山科技 旗下岩芯矩阵联合港科大、CMU等高校刚刚发布并开源的 EdgeRock-4B 。
发生了什么
RockMatrix与香港科技大学、卡内基梅隆大学及其他高校共同发布了EdgeRock-4B,并开放了用于文本和图像推理的模型权重及推理代码。该模型基于Qwen3.5-4B改造,其Rock Memory Anchors机制将注意力KV Cache保持在72 MiB;据报告,在256K上下文下减少了99.1%。据报告,在单张Hopper 80GB GPU上使用32K输入和32K输出的测试中,该模型在512个并发序列下达到12124 tokens/s,吞吐量是源模型的6.42倍,同时保留了其AIME 2024–2026平均通过率的96.3%。
接下来读什么
查看这件事的完整进展RockMatrix 发布开放权重模型 EdgeRock-4B,采用固定大小的注意力 KV 缓存这件事到目前为止
RockMatrix 与香港科技大学、卡内基梅隆大学及其他高校共同发布了 EdgeRock-4B,用于文本和图像推理,并公开提供其模型权重和推理代码供商业使用。该模型基于 Qwen3.5-4B 改编,采用一种名为 Rock Memory Anchors 的机制,将注意力 KV 缓存保持在 72 MiB;据报告,在 256K 上下文长度下,缓存缩减了 99.1%。 据报告,在单张配备 80GB 内存的 Hopper GPU 上,使用 32K 输入 token 和 32K 输出 token 进行测试时,EdgeRock-4B 在 512 个并发序列下达到每秒 12,124 个 token,吞吐量为源模型的 6.42 倍。报告还称,它保留了源模型在 AIME 2024–2026 测试中的平均通过率的 96.3%。
每天一封,跟上 AI 的重要变化
模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报 · 2026-10-26
