华为刘俊：AI存储层级重构，用ASU替代DDR内存池加速推理

2026年10月21日，2026先进存力大会在上海举行，华为数据存储首席研究专家刘俊发表题为《从“算力为中心”到“数据为中心”：AI存储层级重构的思考与实践》的演讲，指出大模型参数膨胀、MoE专家数量增加、上下文序列加长与多模态应用普及，使传统存储架构难以满足AI推理对高带宽、低时延和高耐久的要求。 刘俊将挑战拆为三部分。Prefill阶段KV Cache存在I/O路径DDR带宽瓶颈、网络冲突和介质寿命不足；Decode卸载场景受HBM容量墙限制，吞吐受限。传统以CPU为中心的类CXL内存池设计未充分利用GPU带宽驱动、高并发、可容忍更大延迟的访问特征，在DDR介质成本较高时问题明显。此外AI workload以月级迭代，基础设施却以年为单位更新，存在节奏错配。 应对方案围绕Prefill与Decode两个场景展开。Prefill侧通过原生存算网三合一芯片去除DDR带宽瓶颈，支持原生KV语义实现IO全硬化，并以XPU/CPU双栈直通减少网络跳数与冲突，同时智能管控KV数据生命周期提升介质耐久性。Decode侧利用GPU访问特征，通过多流算子掩盖提供I/O加载窗口、多核高并发下发，由ASU提供高IOPS与稳定低时延。 实测在GLM-5.2模型、128K输入序列、华为昇腾950DT芯片、PD分离场景下，ASU方案Decode卸载性能相较仅HBM方案最大Batch Size提升357%、TPS提升57%，相较仅DDR方案最大Batch Size提升167%、TPS提升40%。ASU还支持一套存储同时接入昇腾UB互联协议与第三方GPU的Scale-Out以太协议，同等成本下相较业界RoCE方案性能提升50%。 华为的目标是用一套存储设备同时覆盖L3.5层PB级共享KV缓存与L2.5层DRAM卸载需求，对Prefill与Decode形成端到端加速，在不堆叠昂贵DRAM的前提下为长上下文推理提供可扩展的记忆底座。