绿算技术黄飞：KV Cache 分层落点实测，全闪与纯内存吞吐打平、有效容量差 107 倍

10 月 21 日召开的 2026 先进存力大会（ASC）存储系统专题上，绿算技术市场营销管理中心总经理黄飞以《KV Cache 分层落点对比》为题，分享了一份刚完成的实测报告。测试在绿算 GP7000 全闪 NVMe-oF 阵列上进行，使用 DeepSeek-V4-Flash 与 vLLM 聚合集群，把同一份 KV Cache 分别落在纯 DRAM 与 DRAM+全闪两个位置逐项对比。 拓扑由三台机器构成：控制与压测机只发请求，cx81 与 cx82 各 8 张 RTX 6000D，每台拆成 2 个 4 卡引擎，共 4 个 vLLM 聚合引擎，由 dynamo 调度、Mooncake 提供 DRAM 段与 NVMe-oF 副本层，KV 面共用一条 200 Gb/s RoCEv2 fabric。存储侧 GP7000 以 SPDK 承担 NVMe Target，呈现 46.09 TB 的 NoF 池。两套配置只差两个位置：DRAM 配置每机 200 GB、共 400 GiB 且不开 NoF；SPDK 配置把 DRAM 段压到每机 25 GB、共 50 GiB，46.09 TB 全闪作为不驱逐的副本层接在后面。 纯读路径 f=1.0 下，C=1/8/16/32/64 五档吞吐比为 1.000/1.014/0.981/0.985/0.980，全部落在噪声区间。20 轮 agent 会话（osl=128）14 个测试点 0 错误，稳态 RPS 差异 −0.1% 至 −4.9%；C=256 时全闪 25.67 RPS 反超纯内存 24.27 RPS 5.5%。报告归因于时间构成：C=128 时单轮墙钟 7.39 s 中 TTFT 2.06 s 占 28%，解码 5.16 s 占 70%，介质差异被解码稀释。 容量侧则是悬崖式失效。vLLM 前缀缓存采用链式块哈希，LRU 驱逐链头会让整条会话复用失效，叠加驱逐、重算、重写的正反馈，实测单轮写入从 50 GB 放大到 1.05 TB 量级、约 20 倍。长输出场景（osl=5000，20 轮，C=112）纯内存命中率从 t16 的 0.5181 跌至 t18 的 0.0169、t19/t20 仅 0.0085，TTFT p50 抬到 246.236 ms，单轮墙钟 727.3 s；全闪稳定在 0.9516，TTFT 16.852 ms，单轮 277.7 s。工作集超容时，471 GB 放进实测均衡仅 383.3 GB 的池子，t2 一轮纯内存耗时 121.0 s、重算 272.8 万 token，全闪仅 11.4 s、2.4 万 token。 命中来源拆解显示，20 轮稳态下本地重算约 2.5%，GPU 自带前缀缓存 87.3%–91.5%，外部 store 读取 8.0%–11.4%，store 层未被逼成瓶颈。全闪侧 DRAM 段从 C=32 起锁死在 48.3 GB，工作集需 156 GB 时命中率仍为 0.9752，至少 2/3 命中读由全闪供给。报告还列出几项不设就不工作的参数：PYTHONHASHSEED 必须为 0，prefix-cache-retention-interval 必须设 None，local_hostname 必须填 fabric 字面 IP，SPDK 数据面要求 512 B 对齐，而 DSV4 的 KV 对象恒为 1,002,240 B，为此在 Mooncake 数据面增加了块对齐 bounce buffer 路径。