跳到正文
上海人工智能实验室 · 官方动态·· 15 天前AI 评分58

上海AI实验室推出决策模型书生·明决,4B版本七项评测平均90.02分

看见即行动、性能超Jev,上海AI实验室推出决策模型“书生·明决”,实现响应效率与质量双升级

AI 导读

上海人工智能实验室推出决策模型书生·明决(Decision),包含0.8B、2B、4B三档参数版本,将原生视觉感知与指令遵循结合。在RTX 4090上,0.8B和2B模型端到端时延约33毫秒、约每秒30次决策,4B模型为44.16毫秒,Jev平均时延为109.70毫秒。书生·明决4B在JevBench等七项评测中平均得分90.02,高于Jev的88.74,居参评模型首位。

深度导读
上海人工智能实验室推出决策模型书生·明决(Decision),定位为智能体在动态环境中执行任务时的决策部件,包含0.8B、2B、4B三档参数版本,并已在GitHub和Hugging Face开放模型与合集入口。 模型的核心变化是把视觉信息直接融入决策环节。此前的结构化决策模型如Jev已能把判断转化为程序可用的选项,而书生·明决进一步读取游戏画面、图形界面等图像输入,在感知画面的同时输出动作选择。原文演示覆盖二维网格地图、横版闯关、第一人称三维场景中的路线选择、危险物品识别与空间方位判断,以及图案验证码场景下读懂指令、识别目标、输出点击动作的完整流程。 性能方面,团队在JevBench的Easy、Original、Hard三个子集以及Typed Decision、ToolACE、AG News、WildJailBreak共七项任务上对比评测。书生·明决4B平均得分90.02,较Jev的88.74高1.28分,居参评模型首位;其中Typed Decision得80.55、ToolACE得96.45,分别高于Jev的73.35和91.29,JevBench-Hard得73.87,与JevK5并列最高。 速度测试在RTX 4090环境完成。0.8B和2B模型平均端到端时延分别为33.98毫秒和33.28毫秒,对应每秒约30次决策;4B模型平均时延44.16毫秒,P95时延44.60毫秒,而Jev平均时延为109.70毫秒。 团队还对模型做了温度校准,使输出置信度更贴近实际准确率,并据此设计大小模型分流机制。在JevBench-Hard的111道题上,书生·明决4B独立作答答对82题、准确率73.87%、耗时4.90秒;Atria-Dawn-Preview独立作答答对99题、准确率89.19%、耗时300.03秒。按置信度挑出42道不确定题目交给大模型后,组合方案答对97题、准确率87.39%、耗时约140.16秒,比全程使用大模型少答对2题,但时间减少约53.3%。此外,书生·明决也可作为大模型的执行部件,在浏览器操作中负责点击、滚动、返回等高频局部决策。 该模型即将接入书生·端砚科学发现平台,用于科学智能场景下的实验交互与自动化科研闭环。这一路线延续了周伯文2024年提出的SAGE“智者”构想,即由系统1的直觉式快思考与系统2的逻辑式慢思考协同构成通用智能架构。

来源:上海人工智能实验室 · 官方动态 · shlab.org.cn