摩尔线程完成 3 万亿参数 Kimi K3.1 Pro 的 Day-0 适配，支持文本与图片推理

摩尔线程宣布，Kimi K3.1 Pro 正式开源后，公司基于 AI 训推一体智算卡 MTT S5000 及 MUSA 软件栈完成该模型的 Day-0 适配，打通模型加载、服务启动以及文本、图片基础推理链路。 运行实测方面，6 台 MTT S5000 服务器完成 Kimi K3.1 Pro 的文本与图片首跑。实际请求中，模型能以中文介绍自身身份与基本能力，并描述输入图片中的主要内容，完成从文本、图像输入到模型输出的基础推理验证。 Kimi K3.1 Pro 是 K3.1 系列首款模型，参数规模 3 万亿级，支持 100 万上下文。原文称其经过大规模后训练和强化学习，在代码、3D 创作、金融研究、知识问答及长程 Agent 任务上全面提升；Terminal-Bench 4.0 得分 65.7%，Kimi Code Bench 3.0 Long-horizon 得分 61.2%，高于 K3 的 55.95%。 适配路径上，MUSA 在编程模型、运行时接口和 AI 框架层面提供兼容迁移能力。团队基于 SGLang-MUSA 承接上游模型实现，并通过 MATE 算子库、Triton-MUSA、TileLang-MUSA 及 MTCC 编译器完成新架构关键计算路径的迁移与接入，将社区模型代码转化为 MTT S5000 上的实际推理服务。MUSA 软件栈覆盖框架执行、算子编译、设备运行和多卡通信。 针对模型的稀疏注意力 DSA，MUSA 软件栈完成索引选择、KV 缓存布局及 Prefill、Decode 计算路径的适配，接入 MATE 稀疏注意力算子，并与 KDA 状态管理、跨层残差及视觉 Attention 共同组成完整执行链路。面对模型采用的 MXFP4 专家权重，团队通过在线转换与跨层复用 FP8 工作区执行专家计算，无需预先生成完整的离线 FP8 权重。 摩尔线程表示，后续将持续推进 Kimi K3.1 Pro 在 MTT S5000 上的性能优化，围绕核心算子、显存管理与多机通信持续优化，提升运行效率与稳定性，为开发者提供更具性价比的 Token 服务。原文注明示例视频中段经过变速剪辑，仅展示交互过程，不代表实际推理速度。