Nvidia 开源机器人视频标注数据引擎 Flora

Nvidia 开源了名为 Flora 的数据引擎，目标是解决机器人训练视频缺少文本标注的问题。Nvidia 的 GEAR 研究实验室指出，机器人视频学习需要三类标注：视频中何时发生什么动作的描述，用于筛选训练数据；对机器人逐步推进质量的评分，用于试错学习；以及任务是否成功完成的判断，用于部署阶段监控。多数现有工具只覆盖其中一类，GPT-6 Astra 这类大模型虽能生成多类标注，但面对海量视频成本过高。 Flora 由三个微调后的 Qwen3.5 模型组成。一个 9B 模型负责把视频切分为动作片段，一个 27B 模型结合前后文描述这些动作，另一个 27B 模型 Flora-Rewarder 按提示词承担三种角色：以 1 到 5 分评价整段任务成败、把每个半秒步骤分类为正常、次优或失败、并按自定义评分标准打分。分段模型与描述模型产出带时间戳的描述，单个奖励模型生成全部三类评分。 Nvidia 称 Flora 已用于其 GR00T 模型训练，在 512 块 GB300 GPU 上每天标注最多 20 万小时视频，模型已在 Hugging Face 提供。在 50 个视频的测试中，Nvidia 称 Flora 得分略高于被允许使用完整推理能力的 GPT-6 Astra。按 Nvidia 估算，Flora 标注一小时视频约 0.72 美元，GPT-6 Astra 约 88.50 美元，Claude Opus 5 在同一测试中表现更差且每小时约 42 美元。Flora 的标注质量为 57.1%，GPT-6 Astra 为 53.7%。不过这些成本数字是按每 GPU 每小时 10 美元租金推算的预估值，不是生产环境实测。 在公开的 WGO-Bench 上，Flora 最擅长检测动作边界，但总分落后于 Astra，纯描述准确率也不及 Gemini 3.8 Flash。研究者称其优势主要来自时间定位。在 Nvidia 自建的 DenseCaptionBench 上，Flora 在人类录制视频的全部指标领先，但在机器人视频上排第二，落后于 Astra。研究者也承认方法上的问题：GPT-6 Astra 既参与评估描述，本身又是被测模型之一。 在 RoboRewardBench 上，Flora 的错误率比 Astra 低 27.8%，论文将差距归因于部分完成的任务。例如机器人只是把瓶子碰倒而非推下桌子时，Flora 给出 5 分中的 3 分，接近人工参考，Astra 只给 1 分。Flora-Rewarder 能识别一段任务中 53.3% 的失败步骤，其他竞品不超过 11.7%，Astra 一个都没识别出；代价是 Flora 会把约 11% 的正常步骤误判为错误。Astra 仍在基于评分标准的打分和轨迹排序上领先。在一段包含大量短手势的视频中，Flora 识别出 37 个动作中的 34 个，Astra 只识别出 4 个；但 Flora 有时会把较长动作拆得过细，描述也会出错，例如把机械手用布擦盘子描述成叠餐巾。 Nvidia 将 Flora 定位为 Scale AI 的 Physical AI Data Engine 等商业服务的开源替代，研究者可用它扩展自有机器人数据集，并测试把人类演示迁移到机器人等方法。Nvidia 正投入数十亿美元做开放 AI 模型，以把开发者留在其硬件生态并拉动芯片需求，Flora 服务于同一目标。此前在 GTC 上，Nvidia 展示过自动准备、扩增和评分训练材料的数据管线，Flora 为其补充来自视频的细粒度标注和奖励信号。Google 近期公布的 Gemini 4 Argon 也瞄准机器人训练流程中的类似环节，同样能识别训练视频中的工作步骤并标记失败动作。