ODCC 技术：16 通道高性能 SSD 加速 MoE 模型推理

随着 DeepSeek-R1、Kimi-K3、DeepSeek-V4、Qwen3.8-Max-Preview 等旗舰模型普遍采用 MoE 架构，稀疏激活在降低算力需求的同时带来了显存压力。以 DeepSeek-R1-671B 为例，总参数 671B、每次推理仅激活约 37B，但 FP16 精度下全部权重约需 1.34TB 显存，需 17 张以上 80GB GPU 才能承载。 MoE Offloading 框架采用"分层存储 + 按需加载"策略：SSD 存放全部专家权重作为冷存储池，GPU 仅保留激活专家、共享层参数与 KV Cache，按门控路由从 SSD 读取所需专家。每次推理仅需读取总专家数 2%~5% 的权重，瓶颈由此从计算转移到 SSD 到 GPU 的随机读路径，1~2 块 48GB GPU（如 NVIDIA L20）即可运行 671B 模型。 测试由畅快算与三星电子联合完成，平台为双 CPU、4 卡 GPU、1TB DDR5 内存，系统 Ubuntu 22.04、内核 6.8.0，同时运行 4 个推理进程，对比单盘共享与 4 盘 RAID0 共享两种部署方式。结果显示，16 通道 SSD 随机读达 3300K IOPS，较 8 通道的 2000K IOPS 提升 65%，对应 MoE Offloading 推理 Prefill 吞吐量提升约 16%~18%。 这意味着 SSD 正从"大容量冷存储"转变为 AI 推理系统的性能关键组件。随着 MoE 参数规模向十万亿级迈进，SSD 的通道数、随机读 IOPS 与带宽将成为 AI 存储选型的核心指标。