量子位 · AI 产业· henry·· 6 小时前AI 评分62
扩散智能发布Clover-35B-A3B-Preview扩散语言模型,主打代码与Agent任务
刚刚,扩散模型杀进Agent主场!350亿参数,速度比Jev快一倍
AI 导读
扩散智能发布扩散语言模型Clover-35B-A3B-Preview,采用MoE架构,总参数350亿、每token激活约30亿参数,支持思考模式,可用于写代码、生成网页和调用工具。
深度导读
扩散智能发布扩散语言模型Clover-35B-A3B-Preview,将团队此前的Dream 7B从70亿参数推进到350亿总参数规模。模型采用MoE架构,每个token激活约30亿参数,支持思考模式,用法与大语言模型接近,可写代码、生成网页、调用工具和生成HTML。
速度是本次展示的重点。在网页Agent评测WindTunnel的49个任务中,每个任务尝试3次,Clover中位执行时间为1.52秒,Jev+Mercury 2.5组合为3.21秒,尝试成功率分别为98.6%和95.9%。官方演示中,Clover通过WebMCP连续处理开票、课程报名、金额汇总、活动状态查询、客户信息查询和发票信息查询六项任务,并在线上购物场景完成选款、加购、填写访客信息和测试结账流程。
评测数据方面,Clover在工具使用相关的τ³ Overall和BFCL-v4上分别拿到65.3和67.9,SWE-bench Verified为73.6,Terminal-Bench 2.1为51.7。
技术路线上,Clover采用块扩散,将待生成内容分块,块间依次推进、块内多位置并行更新。团队围绕块扩散重构门控Delta网络(GDN),把已生成上下文压缩进持续更新的状态供后续读取,当前块通过双向注意力让块内token相互参考,并将历史记忆读出作为独立信息单元参与注意力计算,同时用可学习的块大小校准减少块变大后历史信息被稀释。
扩散智能由香港大学孔令鹏教授及其博士生龚珊三、叶佳成联合创立,团队2022年提出DiffuSeq,2025年4月参与推出Dream 7B。团队计划后续推出Clover多模态版本,推进扩散语言模型与多模态理解及动作生成的结合,并与Acrab合作开展端侧系统适配和软硬件协同验证,同时探索更大规模模型、提升长程任务稳定性。
来源:量子位 · AI 产业 · qbitai.com