NVIDIA 如何用全栈协同设计解决 AI 内存瓶颈

更大的模型、更长的上下文和智能体应用正在加大 GPU 显存压力，同时供应趋紧、价格上涨——这一趋势预计在短期内将持续。

NVIDIA 与内存合作伙伴紧密合作，快速采用最新的内存技术。NVIDIA 率先将 HBM3e 和 HBM4 技术引入加速计算栈。

但这一做法并非简单地在 GPU 上堆叠更多内存，而是全栈协同设计。NVIDIA 有意将 GPU、CPU、网络、存储和软件一同设计，以便在 AI 工厂的每一层从内存中获取更多有用的工作。

这一点很重要，因为 AI 工厂运行在内存与存储的层级体系之上。GPU 高带宽内存（HBM）是最快、最昂贵、竞争最激烈的一层——模型权重和 KV 缓存争抢有限的容量。其下是 CPU 内存、本地 SSD 和共享存储，每一层都以速度换取更大容量和更低的每比特成本。

一个字节能完成多少有用的工作，取决于整个层级体系被利用得如何：缩减必须存储的内容、将其放在合适的层级，并在需要之前将其送回 GPU。

逐字节来看，NVIDIA 在每一层都实现了最高的内存利用效率——结果也证明了这一点。从 NVIDIA Blackwell Ultra 到 Vera Rubin 平台，每 GPU 的 HBM 容量提升了约 3%，而在 SemiAnalysis AgentX 上，每美元的智能体吞吐量提升高达 30 倍。

智能体推理正给 HBM 带来更大压力

前沿模型如今拥有数万亿参数——这些数值承载着 AI 模型在训练中学到的内容。

KV 缓存也在扩张，它保存模型理解每个活跃请求所需的上下文，无需重复处理相同信息。智能体轨迹在反复的模型和工具调用中携带先前上下文，某些情况下处理多达 300 万 token，因此每个请求的工作内存会随时间增长。

检索增强生成（RAG）将相关企业信息加入提示词，产生更多需要处理和保留的上下文。

在推理过程中，HBM 主要同时保存模型参数和 KV 缓存。结果就是：HBM 面临更大压力。

为什么 AI 工厂需要内存层级体系

为每 GPU 增加更多 HBM 容量是对这一压力的直观回应，但容量只能发挥带宽所能搬运的部分。

把 HBM 想象成仓库，内存带宽就是它的装卸码头。更大的仓库能存放更多库存，但码头决定了同一时间能进出多少。一旦码头满负荷，搬运更多库存就需要更长时间，从而拖慢响应时间。如果延迟超出所需的服务水平，新增的空间就无法有效利用，即便它增加了成本并消耗电力。

这也是为什么没有任何运营会把所有库存都放在最近、最快的空间里。在流转中的物品留在产线附近。等待中的物品则移到附近更大、更便宜的空间，并在需要之前送回。

AI 工厂面临同样的限制。

更多 HBM 可以容纳更多 KV 缓存并支持更多并发用户。每增加一个用户，都要共享相同的计算和内存带宽。但当每个用户都期望快速响应时，内存带宽最终无法以计算所需的速度提供数据：工程师将这一限制称为内存墙。

超过这一临界点后，额外的 HBM 容量无法发挥作用，却仍会增加成本并消耗电力。数据仍然需要有存放之处，但并非所有数据都需要放在最快、最昂贵的层级。这就是 AI 工厂要在内存与存储层级之间管理数据的原因。

通过全栈协同设计最大化每一个字节的价值

NVIDIA 的全栈协同设计通过缓解模型权重、KV 缓存和 RAG 数据带来的压力，让 HBM 的每一个字节都物尽其用。它采用的技术分别针对不同的低效来源：

缩小模型权重，并将其分布到 NVL72 域中。

NVFP4 格式相比 FP8（NVIDIA Hopper 平台可支持的最低精度）减少了权重所需的空间。近期发布的模型，包括来自 Black Forest Labs 的 FLUX.2 [klein]、来自 Thinking Machines Lab 的 Inkling、来自 Reflection 的 Beam 1.0、来自 Meta 的 Meta Muse Spark、来自 StepFun 的 Step 5 Preview 以及 NVIDIA Nemotron 3.5 Super VL，均已发布 NVFP4 检查点，表明越来越多的模型构建者采用 4 位精度，以实现更快、更节省内存的推理。
在 NVL72 系统中，模型权重可以分布到最多 72 个 GPU 上，因此每个 GPU 只持有模型的一小部分——从而为 KV 缓存和并发用户留出更多 HBM。

缩小 KV 缓存，并将不活跃的上下文卸载到成本更低的存储层级。

将 NVFP4 应用于 KV 缓存相比 FP8 可减少其占用空间，从而让更多上下文常驻 HBM。
NVIDIA Vera CPU 从两方面提供帮助。更快的工具执行缩短了工具调用期间 KV 缓存处于不活跃状态的时间；而其大容量 LPDDR 内存通过 NVIDIA NVLink-C2C 互连与 NVIDIA Rubin GPU 相连，为暂停的上下文提供了就近等待并快速返回的场所。
当上下文未被主动使用时， NVIDIA Dynamo 推理软件会将其移至 NVIDIA CMX 上下文内存存储——这是一个专为容量而构建的层级，每比特成本远低于 HBM——并在复用前将其返回。与本地 SSD 不同，CMX 可在服务器之间共享；与企业级存储不同，它跳过了短期上下文所不需要的长期数据保护开销。NVIDIA CMX 上下文内存存储合作伙伴包括 Cloudian、 DDN、 Dell Technologies、Everpure（原 Pure Storage）、HPE、IBM、NetApp、VAST 和 WEKA。
Dynamo 的 KV Cache Reuse 将这些层级连接在一起，把 KV 缓存作为跨 GPU 内存、CPU 内存和存储的单一系统级资源进行管理，因此计算过一次的上下文可以在整个系统中复用。

紧凑的 RAG 嵌入，并将索引置于 HBM 之外。

RAG 将企业文档转化为嵌入——一种让系统按语义而非关键词进行搜索的数值表示——并组织成可搜索的索引。NVIDIA Nemotron Retriever 模型可生成更小的嵌入，同时具有更高的检索准确率，而 NVIDIA cuVS 库使该索引能够在 CPU 和存储上构建并提供服务。知识库从不占用 HBM，只有模型所需的段落才会进入上下文。

结果是，用于模型权重的 HBM 更少，被空闲上下文占用的 HBM 更少，而可用于服务并发用户的 HBM 更多。

每一代都以每美元带来更有用的输出

在 NVIDIA 平台接连几代产品中，每美元每秒 token 数的增长远超 HBM 容量的增长。

在 SemiAnalysis AgentX DeepSeek V4 Pro 工作负载上，在每用户每秒 100 token 的情况下，NVIDIA GB300 NVL72 的每美元吞吐量最高可达 NVIDIA H200 平台的 10 倍，而每 GPU 的 HBM 容量大约翻倍。在每用户每秒 125 token 的情况下，Vera Rubin NVL72 的每美元吞吐量最高可达 GB300 NVL72 的 30 倍，而每 GPU 的 HBM 容量仅增加约 3%。

对于 AI 工厂运营者而言，真正重要的指标是工厂在满足用户响应时间需求的同时，能在其功耗预算内提供多少有用的 token。每瓦每秒 token 数越多，意味着同样的功耗能带来更多工作和收入，每个 token 的成本也更低。NVIDIA 的全栈协同设计通过提升每字节内存所交付的有用工作量来降低 token 成本。

在视频讲解和技术深度解析中了解更多关于 NVIDIA 全栈协同设计如何降低推理内存压力的内容。