华为刘硕在2026先进存力大会分享面向AI推理的存网融合技术

2026先进存力大会在上海召开，华为计算网络实验室技术专家刘硕发表主题分享，剖析长上下文AI推理场景下KV Cache对算力、延迟和IOPS的三重放大效应。 在需求侧，单请求上下文迈入M（百万）级别后，单个请求的KV Cache容量可达百GB级；叠加漫长的缓存驻留时间，集群总体容量将升至PB级。PD传输、记忆与状态迁移以及Prefix复用引发的跨节点数据流量达到数十GBps量级，对集群网络带宽形成压力。 在架构侧，刘硕归纳出三重瓶颈：xPU-core的IO性能低下且占用过多核心资源，形成算力墙；层层协议与语义转换叠加跨网络长尾效应，拉长响应周期，形成延迟墙；传统软件栈包袱限制底层存储IOPS释放，形成IOPS墙。 针对上述问题，他提出存网融合的三个技术方向。xPU侧从被动NIDS、NIDS-AICPU/AIV演进到NIDS-SIMT细粒度直通，由xPU内SIMT线程直接发起IO，链路时延达到微秒级，可支撑亿级IOPS。网络侧通过样本面与参数面多网融合，基于华为AI记忆存储与星河AI网络联合评测，相比内存方案TTFT降低91.7%、TPS提升7.3倍；网存协同实现存储流量差异化调度，经GLM模型实测，相比传统网络方案推理TPS再提升20%。存储侧推进近存储向量算子加速，基于通用算力验证检索时延可降20%，并计划探索基于LLM的复杂算子下推。 华为计算网络实验室表示将持续完善xPU直通、多网融合、网存协同、算子下推的全栈能力，联动ODCC开源生态推动分层异构KV池架构发展，降低长上下文大模型规模化部署门槛。