摩尔线程 · 官方动态·· 2 天前AI 评分58
摩尔线程联合趋境科技与智谱发布国产异构推理 AI Token 工厂方案
京芯・京模・京推|摩尔线程携手合作伙伴,共创国产高品质 AI Token 工厂新范式
AI 导读
摩尔线程联合趋境科技与智谱在 2026 人工智能+大会上发布“国产异构推理高品质 AI Token 工厂解决方案”,以 MTT S5000 承担 Prefill 阶段、由高显存带宽算力负责 Decode 阶段。
深度导读
在 2026 人工智能+大会(2026 GAI + C)上,摩尔线程联合趋境科技与智谱正式发布“国产异构推理高品质 AI Token 工厂解决方案”。方案以摩尔线程 MTT S5000 智算卡的高算力与全精度计算为底座,结合趋境科技的全系统异构协同技术做推理加速,官方称其打通了“模型-推理-芯片”产业闭环。
架构上采用 PD 分离异构推理:Prefill 阶段计算密度高,由 MTT S5000 承担,依托其高密度 AI 算力、原生 FP8 精度和 MUSA 软件栈,把 Prefill 从传统推理链路中解耦,构建为可独立供给、独立计费、独立优化的算力资源池;Decode 阶段显存带宽需求大,交由显存带宽更大的算力负责。趋境科技通过 PD 异构推理系统实现 KVCache 跨设备流转,将不同类型算力整合为统一的端到端推理服务。
该方案已在生产环境投入使用,稳定承载头部模型企业的超大参数模型并承接高并发真实业务流量。实测数据显示,MTT S5000 与趋境科技方案协同运行,在国产头部大模型复杂业务场景下实现平均超过 50 TPS 的生成速度、超过 90% 的 KV Cache 命中率、99.9% 的稳定性,并保障生产级低首 Token 时延。在同等生产服务标准下,由 3 至 4 台 MTT S5000 组成的 Prefill 资源池,输入 Token 处理性价比超越国际先进算力方案。
摩尔线程称,这些指标验证了国产算力可在企业核心生产环节落地,同等硬件支出可承载翻倍乃至更大规模的高品质 AI Token 需求,国产旗舰模型也能在国产算力上稳定输出长文理解与代码生成能力。大会期间,摩尔线程还承办未来科学家分论坛,分享国产算力在生命科学(AI4S)、物理智能、智慧矿井等领域的实践。
来源:摩尔线程 · 官方动态 · mthreads.com