vLLM 首日支持 Mistral Large 4 推理部署
热点事件持续更新
vLLM 首日支持 Mistral Large 4 推理部署
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
vLLM 团队宣布，在 Mistral Large 4 发布首日即实现对这一 1T 参数 MoE 多模态模型的推理支持，并给出 FP8 与 NVFP4 检查点、DSpark 投机解码、DCP 长上下文等部署配置。 支持包含在 vllm/vllm-openai:mistral-large-4 Docker 镜像中，该镜像还包含 mistral-common 1.13。默认 FP8 KV 缓存下要求 TP4 并设置 VLLM_FP8_MOE_REQUANT_ACT=a4w4，否则会拒绝启动并给出原因；添加 --decode-context-parallel-size 8 可将潜在 KV 缓存分片到 8 个 rank，同样要求默认 FP8 KV 缓存；张量并行组位于单节点时还需设置 VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm。 上述配置与镜像范围来自 vLLM 团队的发布说明，其实际部署效果尚未经独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 08:00
vLLM 实现对 Mistral Large 4 的 Day 0 支持报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AIHOT · AI 动态聚合精选vLLM 实现对 Mistral Large 4 的 Day 0 支持
vLLM 宣布在发布首日支持 Mistral 的 1T 参数 MoE 多模态模型 Mistral Large 4，并给出 FP8 与 NVFP4 检查点、DSpark 投机解码、DCP 长上下文等部署配置。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。