Google-forskare utvecklar videoagent som kan tolka outtalade önskemål
4 november 2026 · 2 min läsning
Ett forskningsteam från Google har presenterat StreamVibe, en videoagent som ska kunna avgöra själv när den behöver ingripa. Projektet är ett samarbete mellan Google, Stanford, Oxford och flera amerikanska universitet för att skapa en assistent som kan hjälpa till vid aktiviteter som matlagning eller möbelmontering genom att endast göra sig hörd när det är nödvändigt.
StreamVibe är utformad för att förstå vaga önskemål, till exempel att hjälpa användaren om denne kör fast. Tidigare videoassistenter har främst varit anpassade för tydliga kommandon och har haft svårt att känna igen outtalade avsikter, hålla reda på vad som redan är gjort eller anpassa sig när användaren ändrar sina önskemål under processens gång.
För att mäta framstegen har teamet skapat ett referensvärde med cirka 4 100 exempel, vilket omfattar över 183 timmar av inspelningar från vardagslivet och programvaruhantering. Testet är uppdelat i tre nivåer: tydliga instruktioner, vaga mål samt önskemål som förändras över tid. Modellen StreamVibe-VL, som sannolikt baseras på Qwen3.5-9B från Alibaba, tränades för att varje sekund avgöra om den ska vara tyst eller tala. För att undvika ständiga avbrott användes förstärkningsinlärning, och ett separat minnessystem används för att spåra gällande önskemål och avklarade steg.
Resultaten visar att StreamVibe-VL förbättrar tajmingen och kvaliteten på svaren med 10,7 procent jämfört med andra modeller. Minnessystemet bidrar till en ytterligare förbättring av den proaktiva interaktionen med 12,3 procent. Trots att StreamVibe-VL överträffar många öppna modeller, presterar Googles egna Gemini 3.8 Flash bättre i flera tester.
Forskarna noterade dock att alla testade system tappar tråden vid längre videor. När modellerna måste arbeta med sin egen tidigare historik i en hel video sjunker värdena drastiskt, och en central innehållsmetrik för svaren kan falla med upp till 61,5 procent. Vid videor som är längre än fem minuter har modellerna mycket svårt att pricka rätt tidpunkt för sina kommentarer, särskilt när det gäller att komma ihåg ändrade instruktioner över tid.