Mistral Large 4（Le Chonk）开源权重模型上线 Hugging Face

Hugging Face 社区博客发布 Mistral Large 4（又名 Le Chonk）的上线介绍。该模型由 Mistral 推出，为多模态、多语言混合专家（MoE）架构，输入文本和图像、输出文本，总参数量约 1T，激活参数 49B，上下文窗口 1M token。官方提供 FP8 与 NVFP4 两个版本，Unsloth 和 llama.cpp 团队另制作了 GGUF 版本，许可证为 MIT 衍生版 Mistral Ecosystem Open-Weight License，对模型即服务类产品设有限制。 架构上，文本解码器 72 层、隐藏维度 6,144、注意力头数 64，注意力模块将多头潜在注意力（MLA）与 DeepSeek 稀疏注意力（DSA）索引器结合，DSA 为每个查询最多选取 2,048 个键位置。解码器块采用 3:1 的 RoPE 与 NoPE 交替，层间共享 KV 状态。第一层为稠密前馈网络，其余 71 层为 MoE，softmax 路由器从 128 个专家中为每个 token 选 4 个，另有 1 个共享专家，每 token 共 5 个活跃专家。视觉侧采用 1.6B 参数的 Pixtral 编码器，30 层、隐藏维度 2,048、16 个注意力头，使用 14×14 图像块和空间合并尺寸为 2 的 patch-merge 投影器。 基准方面，截至 2026 年 10 月 29 日该模型在 Artificial Analysis 智能指数上位列开放权重模型第五。编程上 DeepSWE v1.1 达 61.7%、SWE-Atlas-QnA 达 59.4%、Terminal-Bench 4 达 28.3%，编程智能体指数综合得分 49.8%，领先 DeepSeek V4 Pro 0813 和 Qwen3.8 Max；AutomationBench 59.9%，AA-Briefcase 1,393 Elo。网络安全方面，Artificial Analysis Cyber Index 漏洞复现与修补项得分 82%，Cybench 解决 40 道挑战题中的 93%，Lakera B3 攻击抵御率 93.3%。 部署支持上，发布即支持 transformers、vLLM 和 llama.cpp，并提供 TRL 微调的 day 0 支持。推理强度可设为 low、medium、high，默认 high 且无法关闭。实测吞吐方面，单台 M3 Ultra 运行 Q2_K 约 90 token/s 预填充、15 tok/s 生成；4 张 RTX6000 Pro 上 NVFP4 在 32K 上下文下预填充 130-590 t/s、生成约 10 t/s，IQ2_XXS 可支持 800K 上下文。推理端点在 8 块 NVIDIA H200 上部署时，1K token 提示词首 token 约 0.6 秒、生成约 65 tok/s，DSpark 草稿被接受时可达 120-138 tok/s。Dell Enterprise Hub 也提供针对 H200、B200、GB200、GB300 的部署方案。