岩芯矩阵联合港科大、CMU开源EdgeRock-4B，KV Cache减少99.1%

岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B，模型权重与推理代码均已开放，可商用，并支持文本和图像推理。团队称更多参数规模的版本正在推进。 模型要解决的是长推理场景下KV Cache随上下文线性膨胀的问题。以Qwen3.5-4B为例，每个token新增32 KiB缓存，推理到256K时单条序列就是8 GiB，导致单卡可并发请求数受限。业界此前的两条路线分别是压缩单个token成本（如MLA、KIVI、谷歌TurboQuant）和采用内存固定的有界状态模型，后者往往损失远处细节。 EdgeRock的核心是记忆岩锚机制RMA，把每条序列历史拆成三部分：循环状态抓上下文大意，1024 token局部窗口管近期，锚点库从更早历史中保留关键细节。写入器为每个token生成候选记录并由评分网络打分，每累积256条候选与库内记录比较，只保留得分最高的1024条，四个KV组各自独立进行。局部窗口加锚点库把每条序列注意力KV固定在72 MiB。架构上保留24个Gated DeltaNet层，将8个全注意力层换成1024窗口滑动注意力，另加独立RMA模块，由Qwen3.5-4B分阶段转换而来。 性能方面，测试设定为32K输入、32K输出，单张Hopper 80GB GPU，各模型取实测最快批大小。EdgeRock-4B开到512路并发，输出吞吐12124 tokens/s，源模型Qwen3.5-4B最快配置为批大小64、1889 tokens/s。批量运行时每条序列全部历史状态固定97.76 MiB，峰值显存61.26 GiB（含模型权重）。单条请求在128K输入后生成128K token，速度稳定在233.7 tokens/s，Qwen3.5-4B则从约169降至151.3 tokens/s。按GPU时长计，4K输入时只需源模型24.9%的GPU时间，32K输入时为15.6%。 能力上，AIME 2024—2026平均一次通过率82.9%，对比组最强的RWKV-7 G1j 13.3B为18.8%；29项文本基准中24项在有界状态模型中排第一，等权均值比最强基线AHN-GDN Qwen2.5 14B高23.8个百分点。相对源模型，AIME保持96.3%、MATH-500达97.5%，六项视觉基准平均84.9%。消融实验中关闭8个RMA模块后，1024个长上下文问题仅答对4个，准确率从94.1%降至0.4%。固定内存还让每条请求的显存占用可在推理前算清，便于服务容量规划与端侧一次分配。