MongoDB 研究团队提出 LEAF 蒸馏框架，发布两个 23M 参数文本嵌入模型

MongoDB Research 的 ML 团队公布 LEAF（Lightweight Embedding Alignment Framework）知识蒸馏框架，并同步在 Hugging Face 以 Apache 2.0 许可发布两个 23M 参数文本嵌入模型 mdbr-leaf-ir 和 mdbr-leaf-mt。团队说明，这两个模型目前未用于 MongoDB 任何商业产品或服务，属于对开源社区的贡献。 LEAF 的核心做法是把大模型作为教师、小模型作为学生，训练目标只有一个：让学生模型的输出嵌入逼近教师的嵌入空间。与早期蒸馏方法对齐注意力矩阵、各层隐状态不同，LEAF 只对齐教师与学生最终输出的嵌入，用 L2 损失约束近似误差。由此产生的学生模型与教师模型嵌入可互操作，支持非对称架构——文档用更大更贵的模型编码，查询用本地快速的 LEAF 模型编码。 该方法还有三点特性：不需要标注数据，区别于依赖 judgment 和 hard negatives 的对比学习训练；偏好小 batch，团队在单张 A100 上完成蒸馏训练；学生模型自动继承教师的 MRL 和输出量化鲁棒性，无需专门训练。团队称 LEAF 模型可保留教师最高 97% 的性能，同时体积小 5–15 倍、速度快 7–24 倍。 两个模型分工不同。mdbr-leaf-ir 面向检索任务，如 RAG 流程的检索阶段，蒸馏自 snowflake-arctic-embed-m-v1.5，在 ≤100M 参数的 BEIR 和 RTEB 公开榜单排名第一；BEIR 平均 nDCG@10 为 53.55，非对称用法为 54.03，高于 OpenAI text-embedding-3-small 的 51.08。mdbr-leaf-mt 面向分类、聚类、句子相似度和摘要等通用任务，蒸馏自 mxbai-embed-large-v1，在 ≤30M 参数的 MTEB v2 (Eng) 榜单排名第一，得分 63.97。 两个模型适合无 GPU 或 GPU 不划算的场景，包括纯 CPU 服务器、IoT 和移动设备，本地运行无需联网。在 2vCPUs 实例上典型吞吐为每秒 120 条查询和 20 篇文档，全精度版本内存占用 87MB，并提供多种量化版本。模型可通过 sentence_transformers、Transformers.js 和 Transformers 使用，也可配合 MongoDB Vector Search 等向量数据库。