百度开源文心5.5 Flash Base，多基准测试刷新同尺寸模型 SOTA

11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），开源地址为 Hugging Face 上的 baidu/ERNIE-5.5-Flash-Base。模型采用 MoE 架构，总参数量 2800 亿，每个 Token 激活 140 亿参数，预训练使用 33.5 万亿个 Token，预训练上下文长度最高 128K，微调与推理阶段支持最长 100 万 Token 上下文。 在知识、推理、数学、代码、多语言和长上下文等多个基准测试中，该模型取得同尺寸模型 SOTA 表现，超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。 围绕效率这一设计主线，文心在注意力机制上提出 Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合。模型通过组合 HCA 与 MLA，让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；低秩门控注意力利用已有低维表示计算信息门控，使门控投影权重参数减少 75%；虚拟头注意力在推理时融合进注意力算子，开销极小。 专家路由方面，模型采用 Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用之间的相关性，同时保持激活专家数量、专家计算量和通信量不变。训练目标上引入 ECHO，无需额外增加 MTP 模块，而是复用主干最后一层让主干自身学习预测后续 token；文心5.5 Flash 仅采用单步 ECHO 预训练，复用的最后一层还可作为投机解码的草稿模型。 基建层面，文心优化了分布式 Muon 优化器，并推出面向大 head dim 的注意力算子 FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。作为 Base 模型，它为开发者和企业提供进一步微调与定制的空间，可基于自身业务构建不同场景的专业模型与应用。