岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B，KV Cache 降至源模型 1%
长上下文推理的显存瓶颈被换成固定容量的“锚点记忆”，单卡并发和吞吐大幅提升，同时保住了推理能力。
岩山科技旗下岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B。它用一套叫 RMA（记忆岩锚，把推理中关键细节存进固定容量锚点库的机制）的记忆方案，把长上下文推理的 KV Cache（模型缓存历史 token 的显存开销）压到固定 72 MiB，在 256K 上下文下比源模型 Qwen3.5-4B 少 99.1%；单张 80GB 卡可跑 512 路并发，输出吞吐 12124 tokens/s，约为源模型的 6.4 倍，AIME 2024–2026 一次通过率 82.9%。
正文摘录
在 256K 上下文下，KV Cache（键值缓存）始终固定在 72 MiB。相比源模型，KV Cache 直接减少 99.1%。 更夸张的是，一张 80GB 显卡同时跑 512 路长推理，输出吞吐达到 12124 tokens/s，是源模型的 6.42 倍。 而且推理能力也基本保住了，AIME 2024—2026 平均一次通过率达到 82.9%，而参评的有界状态模型（bounded-state model，指状态内存不随上下文增长的一类模型）即便做到 14B，最好也只有 18.8%。 这就是岩山科技旗下岩芯矩阵联合港科大、CMU 等高校刚刚发布并开源的 EdgeRock-4B。 现在的模型，动不动就要思考几万 token；Agent 更是能连续工作几十轮，搜索结果、代码、工具调用记录不断往上下文里塞。 如今大多数模型，都把推理历史存在 KV Cache 里，每生成一个 token，就多存一些。 以 Qwen3.5-4B 为例，每个 token 要新增 32 KiB 的 KV Cache。推理到 64K，一条序列就是 2 GiB；推理到 256K，就是 8 GiB。 模型越来越爱“深度思考”，动辄输出几万 token；Agent 一跑就是几十轮工具调用，上下文越滚越长。 多头潜在注意力（MLA）压缩 KV，KIVI 这类量化方法降低精度，谷歌的 TurboQuant 也属于这一路。 测试设定是 32K 输入、32K 输出，所有模型都在单张 Hopper 80GB GPU 上跑，各自取实测最快的批大小。 结果，EdgeRock-4B 一口气开到 512 路并发，输出吞吐 12124 tokens/s。 源模型 Qwen3.5-4B 最快的配置是批大小 64，只有 1889 tokens/s；