Amazon SageMaker Inference 支持 NVIDIA MIG GPU 分区

Amazon SageMaker Inference 上线 GPU 分区能力，借助 NVIDIA Multi-Instance GPU（MIG）把一块物理 GPU 划分为多个独立分区，每个分区获得固定的计算单元份额和专属显存，隔离由硬件保证。此前在 GPU 端点上部署模型，最小申请单位是一整块加速卡，实例有多少块卡就只能放多少个模型；分区后可以在同一块卡上放置不同模型，也可以只取新代加速卡的一部分而非整块。 该能力建立在推理组件（inference components）之上，分区是组件申请的一种资源，与 CPU、内存申请并列。API 上新增两个可选字段：CreateEndpointConfig 生产变体中的 AcceleratorPartitionLayouts 声明每块加速卡如何切分，推理组件中的 AcceleratorPartitionType 指定模型运行在哪种分区上。没有新增 API 操作、资源类型或 IAM 动作，省略这两个字段的端点行为与现在一致。调用方式不变，InvokeEndpoint 仍按推理组件名寻址。 分区规格由 GPU 决定。P4d 的 A100 40GB 和 P5 的 H100 80GB 最多 7 个分区，计算按七分之一、显存按八分之一切分；G7 的 RTX PRO 4500 Blackwell 32GB 最多 2 个分区，G7e 的 RTX PRO 6000 Blackwell 96GB 最多 4 个分区。布局在创建端点时确定，分区类型在组件生命周期内固定，改布局需要新建端点并迁移流量。单模型端点、无服务器端点、异构实例池不支持分区，异步调用也无法寻址推理组件。测试中切分加速卡使预置时间增加约 17 秒。 原文给出了一组对比测试：用 genai-bench 驱动，将 H100 的一个 mig-3g.40gb 分区与整块 A100-40GB 对比，两者均运行 Llama-3.1-8B-Instruct，并发从 2 扫到 512。分区在每个场景、每个并发下输出吞吐都更高，在成本收益最大的负载点高出 53% 至 89%，首 token 时间低 5.6% 至 47.5%，每百万输出 token 成本低 18% 至 34%；但短输入或低并发下整块 A100 更便宜，交叉点随提示变长而前移。长上下文高并发时 A100 出现三分之一到一半请求超时，分区未出现失败。 计费仍按整块 GPU 实例收取，分区提升的是实例利用率而非改变小时单价。可用区域包括美国东部（弗吉尼亚北部、俄亥俄）、美国西部（俄勒冈）、亚太（新加坡、东京）、欧洲（法兰克福、爱尔兰）。Salesforce 参与了需求定义与初始实现验证，并表示正在准备用代表性生产负载做进一步验证。