跳到正文
IEEE Spectrum · AI· VicOne·· 17 小时前AI 评分22

VicOne LAB R7 研究:机器人安全功能正常,但输入被篡改会怎样

Your Robot’s Safety Functions Already Work. What If the Input Lies?

AI 导读

VicOne LAB R7 展示篡改输入如何改变机器人行为:在 Gemma 4 E4B 机器狗测试中,海报上的文字被当作指令并改变其运动;在基于 Nemotron 与 NVIDIA Jetson AGX Orin 的医院服务机器人仿真中,人耳听不见的构造音频改变了机器人行为。研究还向预期保持静止的 ROS 2/DDS 机器人注入消息,使其发生移动。

深度导读
VicOne LAB R7 关注一个被忽视的问题:机器人的安全功能本身按设计正常工作,但它所依赖的输入可能被篡改。移动机器人把有人经过的走廊读成畅通,协作机械臂把工人估计得更远,人形机器人没有收到停止信号——这些情况既可能源于故障,也可能源于蓄意操纵。 已有研究显示视觉输入可以干扰机器人任务:针对视觉-语言-动作(VLA)模型的研究中,摄像头视野内的一块贴片降低了仿真机器人测试的任务成功率;FreezeVLA 发现对抗图像可使被测模型忽略后续指令。VicOne LAB R7 的测试中,使用 Gemma 4 E4B 的机器狗把海报上的文字当作指令并改变了运动;在基于 Nemotron 和 NVIDIA Jetson AGX Orin 的医院服务机器人仿真中,人耳听不见的构造音频改变了机器人的模拟行为,而分配的任务并未改变。 安全相关决策同样依赖输入。在一次机器人漏洞赏金活动中,研究人员向一台按主办方预期在安全控制设置下保持静止的机器人注入 ROS 2/DDS 消息,机器人发生了移动。人形机器人的平衡控制器若依赖存在漏洞的陀螺仪,传感器谐振频率上的声音可能扭曲其报告的旋转,使控制器去纠正一个并不存在的倾斜;研究人员已在搭载脆弱陀螺仪的无人机上演示了这类声学攻击,但并未演示同一攻击链导致人形机器人跌倒。 文章指出,蓄意操纵改变了安全评估中“多个偶然故障同时发生概率极低”的假设,攻击者可以选择时机并重复同一触发条件。冗余传感器也需要对抗性测试:自动驾驶研究中,一个构造的物理物体误导了结合摄像头与 LiDAR 感知的系统,说明一次操纵可能同时影响多项校验。 合规层面,文章提到中国 GB/T 45502-2025 针对服务机器人信息安全,IEC TS 63074 审视可能影响安全相关控制系统的安全威胁,2027 年 1 月 20 日起适用的欧盟机械法规包含保护安全相关系统与数据免遭破坏的要求。VicOne 建议在部署前用同一安全限值对比正常与对抗场景,运行中监控软件、模型、传感器信号或行为变化,并通过 Radeis 在部署前验证潜在影响、Rthena 在运行中提供风险与行为可见性。

来源:IEEE Spectrum · AI · spectrum.ieee.org