vLLM 实现对 Mistral Large 4 的 Day 0 支持

vLLM 官方博客宣布已实现 Mistral Large 4 的 Day 0 支持。Mistral Large 4 是 Mistral 的新一代前沿 MoE 原生多模态模型，总参数 1 万亿，每 token 激活 490 亿（含嵌入层和输出层为 520 亿），共 72 层、隐藏维度 6144、64 个注意力头，128 个路由专家（top-4）加 1 个共享专家。注意力采用 MLA（KV LoRA 秩 512，RoPE 维度 64），并配有 DSA 稀疏索引器，每个查询选取 top 2048 个 key；另有跨层 KV 共享、NoPE 层、SSMax 和 LeRoPE 等架构特性，模型自带 DSpark 投机解码草稿器和 Pixtral 视觉编码器。 支持工作不止于添加模型文件。ML4 运行在 vLLM 的模型运行器 V2（MRV2）上，支持可断开的 CUDA 图，各构建模块放在新的 vllm/models/mistral/ 包中，并顺带改进了 decode 上下文并行（DCP）、prefill 上下文并行（PCP）、DSpark、基于 NIXL 的分离式服务以及 HiSparse 主机内存 KV 卸载。检查点提供 FP8（块缩放权重）和 NVFP4（专家用 NVFP4，注意力/共享专家用 FP8）两种，默认都使用 FP8 潜在 KV 缓存。 性能数据方面，DSpark 草稿器为 3 层滑动窗口 MLA、深度 3，每步接受约 2.9 个 token，在 TP8 上输出吞吐约提升 2 倍；官方实测在 FP8 上提升 1.9–2.1 倍，NVFP4 上提升 1.9–2.2 倍。DCP 在 TP8 上带来约 7.9 倍 KV 容量，从 2.38M 提升到 18.88M token（FP8），NVFP4 下从 3.60M 提升到 28.76M token；PCP+DCP 预填充把首 token 时间最多缩短 1.6 倍。NVFP4 与 FP8 在各评测任务上差距在 2.1 分以内，平均差异 −0.3 分，token 消耗相差约 4% 以内，TP8 下解码速度快 1.08–1.19 倍（启用 DSpark 时 1.18–1.22 倍），KV 缓存容量约为 1.5 倍。 部署入口为 vllm/vllm-openai:mistral-large-4 Docker 镜像，内含 mistral-common 1.13。8 块 GPU 上可用 FP8 加 --tensor-parallel-size 8，4 块 GPU 上可用 NVFP4（Blackwell）。长上下文可加 --decode-context-parallel-size 8 分片潜在 KV 缓存，多模态可传 --limit-mm-per-prompt 限制每提示词图片数。 平台覆盖上，AMD Instinct MI350 系列通过 ROCm 实现 Day 0 支持，包括 DSpark、图像输入和 MXFP4 专家的专家并行；路由专家以 OCP MXFP4 运行在 AITER 融合 MoE 上，可用 AMD Quark MXFP4 检查点或加载时重新量化 FP8 检查点，后者在 TP8 下每 GPU 专家权重从约 125 GiB 降到 69 GiB，输出吞吐提升 22–71%。TPU v7x 上通过 vllm-torchtpu 支持，验证配置使用 16 块芯片。HiSparse 把完整潜在 KV 放在锁页主机内存，单台 GB300 节点 TP4 NVFP4 下 440 GiB 主机池可接纳 877 万 KV token，稳态最高 1125 万，而仅靠 GPU 为 197 万。 博客还列出后续计划：MLA 跨层 KV 共享、DSpark 滑动窗口 MLA 草稿、DCP 下的 DSpark 和 …