Google 联合斯坦福、牛津推出 StreamVibe 视频智能体，让 AI 自己判断何时开口帮忙

Google 联合斯坦福、牛津及多所美国高校的研究团队提出 StreamVibe，一个能自行决定何时开口的视频助手。研究针对的是现有视频助手的短板：它们通常只处理“水烧开时告诉我”这类明确指令，难以捕捉用户未说出口的意图，也容易重复建议或响应过晚；用户中途改变需求时，它们往往仍按原指令执行。StreamVibe 试图区分明确说出的、未说出口的和任务中变化的三种用户意图。 为量化这一问题，团队构建了约 4,100 个样本、来自超过 183 小时日常生活与软件录屏的基准，由 Gemini 2.5 Flash 给出建议时机与内容，四名人类评估者需一致通过。测试覆盖明确指令、模糊目标和随时间变化的需求三个阶段，例如用户拆解玩具挖掘机时先要求进度更新，三分钟后又改为质量检查。 在此基础上，团队训练了 StreamVibe-VL，该模型似乎基于阿里 Qwen3.5-9B，每秒判断一次是保持沉默还是开口。第二阶段用强化学习让模型更克制，避免频繁打断；另有独立记忆系统追踪哪些请求待处理、哪些步骤已完成，但由模型自身决定是否说话和说什么。 结果显示，StreamVibe-VL 在响应时机与质量上比其他模型提升 10.7%，记忆系统设计上可再提升主动交互 12.3% 并减少不必要打断。它总体大幅领先基座模型和其他开源模型，但 Google 专有的 Gemini 3.8 Flash 在多项测试中得分更高。研究者称专门训练未损害通用视频理解能力。 问题在于持续运行时的表现：视频越长，模型越难选对响应时机；当模型需要基于自己此前的回答继续处理整段视频时，错误会累积，响应的一项关键内容指标最多下降 61.5%。在超过五分钟的视频中，模型很少选对时机，也难以在长时间跨度内跟踪已改变的指令。论文中的 GIMP 黑白照片教程案例里，对比模型 JoyAI 在用户尚未打开图片时就称已保存，而 StreamVibe-VL 在正确时机给出“Colors”再到“Desaturate”的下一步；在果酱吐司教程中，其他模型只描述画面，StreamVibe-VL 则建议先切掉面包边。 研究者承认真实场景比测试环境更复杂，未来将研究用户偏好与环境如何随时间相互影响。Google 此前已推出 Gemini 的智能体式视频分析，以及用 Gemini 4 Argon 跟踪机器人视频中较长动作序列并发现错误的工作。