在 Amazon EKS 与 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型加速智能体 AI

文章围绕 NVIDIA Nemotron 系列模型在 AWS 上的部署展开。Nemotron 3.5 Super VL 加入已在 AWS 上提供的 Nemotron 3 Nano、Nano Omni、Super、Ultra 和 Nemotron 3.5 Lightning 行列，它是一个 120B 参数的 MoE 模型，每个 token 激活 12B 参数，将推理与工具使用同文本、图像、文档和视频理解结合，一个模型即可服务文本与视觉任务。该模型从 Nemotron 3 Ultra 蒸馏而来，NVIDIA 公开权重、训练数据集和后训练配方，可针对领域负载定制并在自有基础设施上运行。 架构上，Nemotron 3.5 Super VL 采用混合 Mamba-Transformer MoE 结构，交错堆叠 Mamba-2、注意力和专家层，稀疏路由使每 token 计算量接近更小的模型，而 GPU 显存仍需容纳全部权重。Mamba-2 层在生成时保持恒定大小的状态，内存不随序列长度增长，从而让长上下文更可负担；递归共享的 Multi-Token Prediction（MTP）头支持原生投机解码。模型上下文长度最高 1M tokens，输出为文本，提供 BF16 和 NVFP4 检查点。NVIDIA 报告其在 Hermes Bench 上为 63.44%，LangChain 智能体评测为 87.05%，CharXiv 图表推理基准为 80.8%。 适用场景包括编码中的测试验证与错误修复建议、网络研究中的来源交叉核验、文档智能中的表格图表与版面阅读、网络安全中的漏洞识别与威胁分级，以及视频搜索与事件分析。模型通过 NVIDIA 参考实现、cookbook 和 NVIDIA Agent Toolkit 与主流开源智能体框架和编排系统集成。 部署部分给出 vLLM 的最低 GPU 配置：B200/GB200 在 BF16 下需 8 卡、NVFP4 下需 2 卡；B300/GB300 分别为 4 卡和 1 卡；H200 为 8 卡和 4 卡；H100 为 16 卡和 8 卡。参考实现在标准 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上运行，三者使用相同的 Kubernetes 清单；EKS Auto Mode 由 AWS 代为管理集群的扩缩容、GPU 和 EFA 支持。集群控制面承载 Kubernetes API，CPU 节点运行系统与测试 pod，GPU 节点运行模型，容器镜像存于 Amazon ECR，共享 FSx for Lustre 卷存放模型权重，EFA 连接 GPU 节点。NVIDIA Dynamo 支持单节点聚合服务，也支持将 prefill 与 decode 分置不同节点，视觉语言模型的图像/视频编码阶段还可单独分离到独立节点。 验证与性能方面，该架构已在 p6-b200.48xlarge（8 张 NVIDIA B200）和 p5en.48xlarge（8 张 NVIDIA H200）实例上验证，可用 NCCL all-reduce 微基准检查集群与网络，通过 NVIDIA aiperf 工具测量首 token 时延（TTFT）、token 间时延（ITL）和每秒 token 吞吐（TPS）。并发扫描显示，在两节点上聚合与分离部署的 ITL 大致相同，分离部署的 TTFT 更低；以 TTFT 低于 600 ms、ITL 低于 100 ms/token 为预算，可据此推算单副本在 SLO 内可承载的吞吐并规划 prefill-decode 对数。