跳到正文
AIHOT · AI 动态聚合· noreply@aihot.news (Liquid AI 模型与工程博客)·· 1 天前AI 评分62

Liquid AI 发布 LFM3 多模态模型家族,六款 2B 级模型主打端侧专用智能

Liquid AI 发布 LFM3 多模态模型家族,主打专用智能与端侧部署

AI 导读

Liquid AI 发布新一代 Liquid Foundation Models 家族 LFM3,首个版本包含六款约 2B 参数模型,覆盖文本、视觉、音频、omni 和决策模态,全部基于 LFM3-1.7B-Base,预训练使用 22T tokens。

深度导读
Liquid AI 发布新一代 Liquid Foundation Models 家族 LFM3,定位为面向专用智能的多模态模型系列。首个版本包含六款约 2B 参数模型,全部从同一 LFM3-1.7B-Base 主干分支而来,覆盖文本、视觉、音频、omni 四种输入模态,以及基于视觉和 omni 模型特化的两款决策模型。基础模型与后训练模型以开放权重形式在 Hugging Face、Playground 和 Liquid AI API 上线。 架构上,LFM3 采用三混合层结构,24 层中 13 层为门控短卷积、5 层为 256 token 窗口的滑动窗口注意力、6 层为全局注意力,卷积核从 LFM2 的 3 扩大到 7;同时引入逐头门控注意力、部分 RoPE 和 sandwich norm。LFM3-1.7B-Base 预训练使用 22T tokens,最后 3.5T tokens 为中期训练阶段,加入更多智能体轨迹和工具调用数据,并将上下文扩展到 256K。官方称 LFM3-1.7B 以少 35% 的参数超过此前的 LFM2.5-2.6B。 文本模型 LFM3-1.7B 面向本地智能体和专用应用,支持 256K 上下文,后训练适配 Hermes Agent、Pi、OpenClaw 等智能体框架。官方基准显示其在 BFCL V4 得 71.39、ToolSandbox 得 80.36、SWE-bench Verified 得 43.40,在指令遵循和函数调用上领先,智能体编码和知识类任务仍落后于更大模型。端侧以 llama.cpp Q4_0、32K 上下文测量,解码速度比对比模型快 1.8 至 2.8 倍;128K 上下文需 1.6GB KV cache。单张 NVIDIA B300 配 SGLang BF16 时,1024 并发下每天可产出 36 亿 tokens。 视觉模型 LFM3-VL-2B 首次支持视频输入,并具备逐步推理、空间与具身推理能力,采用自研视觉编码器,算力消耗比此前的 SigLIP2 编码器少 3 倍。音频模型 LFM3-Audio-2B 使用自研音频编码器和 LiquidCodec 编解码器,支持 18 种语言,新增音频理解、通用音频推理和工具调用;编码器完全因果,首 token 延迟低至 50ms。LFM3-Omni-2B 是该公司首个 omni 模型,参数量 2.2B,可同时处理视觉、音频和语言。 决策模型 d1-2B 和 d1-Omni-2B 不再生成答案,而是在单次前向中回答一组问题并给出校准概率,新增指框、抽取、区间估计和多选等结构化答案类型。官方称 d1-2B 参数比 d1-3B 少三分之一,Decision Bench 从 83.6 提升到 85.2。 官方演示了在单张 A100 上用约 3000 张风机叶片照片微调 LFM3-VL-2B 做缺陷检测,分类准确率提升到 67%;以及用 LoRA 和 VLA 方式将其改造为机器人控制器,在 Jetson AGX Orin 上以 TensorRT FP16 生成动作块耗时低于 50ms。首发合作伙伴包括 Ambarella、AMD、Arm、Intel、NVIDIA、OpenRouter、Qualcomm 和 Vercel,Mercedes-Benz 与 Shopify 参与发布前测试。

来源:AIHOT · AI 动态聚合 · aihot.news