阿里云孔阳：以UMX统一内存扩展破解AI Scale-Up“容量墙”

在2026先进存力大会上，阿里云服务器研发超高速互连负责人孔阳发表《基于UMX统一内存/存储扩展的AI Scale-Up架构》演讲，聚焦Agent时代大模型推理面临的容量、带宽与时延挑战，并分享阿里云基于磐久AL144超节点、开放互连与分层资源池的UMX实践。 孔阳指出，随着AI从单轮对话走向工具调用、长上下文、多Agent协同和状态持续保存，KV Cache快速膨胀，成为影响服务规模、首Token时延和系统成本的关键资源。阿里云围绕主流推理引擎构建L1 HBM、L2主机内存、L2.5内存池和L3共享存储的多级架构，以KVCM、MoonCake SDK、HF3FS SDK等组件衔接各层，并结合Prefix Cache、P/D分离及GPU到RDMA、GPU到DRAM的数据路径优化。据介绍，Tair KVCM缓存有效命中率可达99%，每Token成本下降50%。 他进一步分析，预填充阶段以计算密集为主，解码阶段需持续读取模型权重和KV Cache，系统瓶颈由单一算力约束转向内存容量与访问带宽约束。仅靠GPU HBM承载全部状态面临容量上限与成本、功耗压力，Scale-Up的核心能力正从“连接更多GPU”扩展为计算、专家路由、内存容量与数据供给的综合协同。 为此，演讲提出UMX统一内存扩展体系：以一致的Load/Store访问语义为基础，通过UALink、CXL等开放互连，将GPU HBM、主机DRAM、远端内存、SCM及共享存储组织为分层资源池，热数据驻留近GPU层级，冷数据与可复用状态进入容量和成本更优的层级，并通过直接访问、批量搬移、零拷贝、流水处理及计算通信重叠降低迁移开销。 阶段性实测结果显示，两级缓存方案下系统吞吐提升58.3%，P90首Token时延下降48.7%；该数据来自特定测试环境，后续仍需结合模型结构、上下文长度、并发规模和访问局部性持续验证。孔阳表示，未来阿里云将继续联合产业伙伴推进开放互连、软硬协同与场景验证，推动Scale-Up系统从扩展算力升级为同时扩展状态容量与数据供给能力的开放平台。