Google研究人员开发视频代理StreamVibe以识别用户未明言的需求
2026年11月4日 · 阅读 1 分钟
也发布于 Türkçe
由Google领导的研究团队推出了名为StreamVibe的视频代理，旨在让人工智能能够自主决定何时介入并提供帮助。该系统致力于让助手在观察用户烹饪或组装家具时，仅在必要时才发出提醒，并能理解诸如“在我卡住时帮我”等模糊请求。
为了量化这一挑战，研究团队建立了一个包含约4,100个示例的基准测试，涵盖了日常活动和软件操作的183小时录像。该测试分为三个级别：明确指令、模糊目标以及在过程中发生变化的愿望。研究人员基于可能的Qwen3.5-9B模型训练了StreamVibe-VL，使其每秒决定保持沉默还是发言，并利用强化学习使其在介入时更加克制。
该系统采用了一个独立的框架来记录请求和任务进度，以追踪哪些愿望仍然有效以及哪些步骤已完成。数据显示，StreamVibe-VL在响应的时机和质量方面比其他模型提高了10.7%，而记忆系统将主动交互进一步提升了12.3%。尽管如此，Google自有的Gemini 3.8 Flash在多项测试中表现更佳。
研究表明，所有测试系统在处理长视频时均会出现性能下降。当模型需要处理完整视频并基于自身之前的回答继续工作时，错误会不断累积，导致响应的核心内容指标下降高达61.5%。对于超过五分钟的视频，模型几乎无法准确把握介入时机，且难以长期记住已更改的指令。