Google ve ortakları, video yapay zekâsının sessiz talepleri algılamasını hedefleyen StreamVibe sistemini tanıttı
4 Kasım 2026 · 2 dk okuma
Ayrıca şu dilde de yayımlandı 中文
Google, Stanford, Oxford ve çeşitli ABD üniversitelerinden araştırmacılar, video izlerken kullanıcının açıkça söylemediği ihtiyaçları tespit edebilen StreamVibe adlı bir video ajanı geliştirdi. Bu sistem, kullanıcının yalnızca yardım gerektiğinde müdahale etmesini sağlayacak şekilde tasarlandı. Araştırmacılar, mevcut yapay zekâ modellerinin bu tür belirsiz durumlarda ne kadar zorlandığını gösteren kapsamlı testler gerçekleştirdi.
Geleneksel video asistanları, "su kaynadığında bana söyle" gibi net komutlara yanıt verecek şekilde programlanmıştır. Ancak bu sistemler, kullanıcının zihnindeki belirsiz niyetleri anlamakta ve hangi adımların tamamlandığını takip etmekte yetersiz kalmaktadır. Kullanıcılar, işin ortasında taleplerini değiştirdiklerinde, mevcut asistanlar genellikle eski isteklerine bağlı kalmaya devam etmektedir. StreamVibe, açıkça ifade edilen, ima edilen ve süreç içinde değişen kullanıcı niyetlerini ayırt edebilmek için geliştirilmiştir.
Araştırma ekibi, bu problemi ölçülebilir kılmak için yaklaşık 4.100 örnek içeren bir değerlendirme seti oluşturdu. Bu veri seti, günlük yaşam ve yazılım kullanımıyla ilgili toplamda 183 saatten fazla video kaydını kapsamaktadır. Verilerin doğrulanması için Gemini 2.5 Flash modeli uygun yardım zamanlarını ve yanıtları önerirken, dört insan denetçi her örneğin onaylanması için oy birliğiyle karar vermiştir. Testler, net talimatlar, belirsiz hedefler ve süreç içinde değişen istekler olmak üzere üç aşamadan oluşmaktadır.
StreamVibe-VL modeli, muhtemelen Alibaba'nın Qwen3.5-9B tabanlı bir mimari üzerine inşa edilmiştir. Model, her saniye sessiz kalmak mı yoksa konuşmak mı gerektiğine karar verir. Pekiştirmeli öğrenme ile yapılan ikinci bir eğitim aşaması, modelin gereksiz yere söz kesmesini önlemek için daha tutuklu davranmasını sağlamaktadır. Ayrı bir bellek sistemi, hangi isteklerin hâlâ geçerli olduğunu ve hangi adımların tamamlandığını takip etmektedir. Modelin ne söyleyeceğine ve ne zaman söyleyeceğine yalnızca kendisi karar vermektedir.
Test sonuçlarına göre StreamVibe-VL, yanıt zamanlaması ve kalitesini diğer modellere kıyasla yüzde 10,7 oranında iyileştirmektedir. Bellek sistemi, proaktif etkileşimi yüzde 12,3 oranında daha da artırarak gereksiz söz kesmelerini azaltmaktadır. Model, temel yapısı ve diğer açık modelleri genellikle açık ara geride bırakmaktadır. Ancak Google'ın kendi Gemini 3.8 Flash modeli, birden fazla testte daha iyi performans göstermiştir. Genel video anlama yeteneği, bu özel eğitimden olumsuz etkilenmemiştir.
Uzun süreli çalışmalarda tüm modellerin performansının düştüğü gözlemlenmiştir. Modeller, kendi önceki yanıtlarıyla devam etmek zorunda kaldıklarında hata oranları artmakta ve içerik metrikleri yüzde 61,5'e kadar düşmektedir. Beş dakikadan uzun videolarda modellerin doğru zamanlamayı yakalama oranı neredeyse sıfıra inmektedir. Değiştirilen talimatları uzun süre takip etmek modeller için özellikle zorlayıcıdır. Araştırmacılar, gerçek durumların test ortamından daha karmaşık olabileceğini kabul etmektedir.