量子位 · AI 产业· 量子位的朋友们·· 6 小时前AI 评分55
清华联合无问芯穹、智元提出群体经验学习CEL,96台机器人集群验证
从学习人类到学习机器人同伴,清华大学联合无问芯穹、智元提出具身智能规模化落地新路径
AI 导读
清华大学、无问芯穹与智元联合提出群体经验学习(CEL)新范式,让机器人从同伴的成功经验中学习,并在96台真实机器人组成的集群中完成规模化验证。两台未参与训练的机器人在插花、叠衣服、手机充电、凳子组装、手机包装五项任务上共测试600次,失败15次,总体成功率97.5%,五项任务成功率均超过6名人类操作员的平均水平。
深度导读
清华大学、无问芯穹与智元联合提出群体经验学习(Collective Experience Learning,CEL)新范式,并在96台真实机器人组成的集群中完成规模化验证。其核心思路是让机器人不只依赖人类示范学习,还能借鉴群体中其他机器人的成功经验,一台机器人遇到困难时可从同伴过去的经验中寻找解决方法。
文章指出,当前具身智能训练普遍依靠人工示教和人工纠错,但机器人可以成百上千台批量部署,经验丰富的操作人员数量无法同步增长,这成为规模化落地的一大卡点。CEL 试图把学习对象从人转向同伴,让单台机器人摸索出的成功经验沉淀下来供整个群体共享复用。
实验覆盖家庭服务与工业生产场景,具体包括插花、叠衣服、手机充电、凳子组装、手机包装五项任务。两台未参加训练的机器人共测试600次,失败15次,总体成功率97.5%,五项任务成功率全部超过6名人类操作员的平均水平。手机包装这类多步骤工业任务的成功率从79.2%提升到98.3%,连续测试120次仅失败2次。参与训练的机器人从16台增加到96台时,该任务成功率从86.7%提升到98.3%。
系统层面,团队基于大规模强化学习训练开源框架 RLinf 构建容错异步训练系统(FATS),统一调度真实机器人与计算资源,机器人完成任务后即可上传操作经验,无需等待其他机器人。在96台规模测试中,集群累计采集9834轮执行经验,期间22台机器人共发生30次故障,故障造成的机器人时间损失仅占全部运行机时的1.3%。
算法层面,团队提出失败引导的经验检索微调算法(FERT)。针对一次操作持续数分钟、涉及数千个动作步骤而反馈只有成功或失败的问题,FERT 从成功操作中学习应该怎么做,从失败操作中定位哪里做得不对,并在机器人遇到困难时检索相似场景下的成功经验供其重点学习。
文章将此次合作定位为产学研协同:清华大学提供学术前沿,无问芯穹提供 AI 基础设施,智元提供整机与真实场景,试图打通从真实场景产生经验、群体学习沉淀能力到规模化部署反哺场景的链路。本文由无问芯穹提供,量子位获授权转载。
来源:量子位 · AI 产业 · qbitai.com