Google släpper ML Drift för att snabba upp on-device AI‑inference på olika GPU‑arkitekturer
28 oktober 2026 · 2 min läsning
Google har lanserat ML Drift, en öppen källkods‑GPU‑compute‑engine för on‑device AI‑inference. Engine:ar utvecklats för att hantera komplexiteten i olika GPU‑hårdvara och lågnivå‑API:er och stöder OpenGL ES, OpenCL, Metal och WebGPU. Licensen är Apache 2.0.
ML Drift är kärnan i LiteRT och möjliggör att utvecklare kan skapa egna graf‑ och inference‑runtimes för applikationer inom bild‑ och ljudbehandling samt generativ AI. Målet är att förenkla åtkomsten till den mångfald av GPU‑arkitekturer som finns i edge‑enheter.
För att uppnå detta erbjuder ML Drift enhetliga shaders via tensor‑virtualisering, stöd för anpassningsbara operationer och fem‑dimensionala tensorer. Dessutom har man optimerat stöd för GPU:er från Arm, Intel och Qualcomm Technologies för att maximera hårdvaruutnyttjande.
Stöd för skrivbord på Windows och Linux har lagts till via Dawn, Chromiums WebGPU‑implementering, medan macOS fortsätter att använda Metal‑backenden. Dawn ger en gemensam API‑modell som undviker direkt kontakt med plattforms‑specifika grafik‑API:er som DirectX och Vulkan.
Google har testat ML Drift med Gemma‑modeller på utvecklar‑workstationer och rapporterade 12 % lägre minnesöverbelastning jämfört med andra ramverk som llama.cpp och MLX LM. Dessutom körs ML Drift redan på miljoner enheter via appar som Chrome, YouTube Shorts, Photos och Meet.
I YouTube Shorts har man uppnått upp till 40 % lägre ram‑latens för segmentation‑baserade effekter på Android och iOS. I Google Photos accelereras beräkningsfotografering och segmentation med upp till två sekunder. Adobe Lightroom och Photoshop får prestandaförbättringar på upp till 30 % för AI‑funktioner som Select Subject, Select Sky och Adaptive Portrait. Även Snapchat rapporterar 30 % lägre modell‑latens för ansikts‑ och stil‑genereringseffekter på Android.
Pavithra Agraharam, AI/ML‑ingenjör, betonade på LinkedIn att "nativ 5D‑tensor‑stöd utan layout‑hackningar är en massiv vinst för att köra rumsliga och transformer‑modeller på edge‑GPU:er". Matthew Charles Vladislav Busel, grundare av Tensorust, efterfrågade jämförelser med Core ML på senaste iPhone‑modeller för latency och minne.
Med lanseringen av ML Drift upphör Google att uppdatera den tidigare TensorFlow Lite GPU‑delegaten. För bakåtkompatibilitet rekommenderas migration till LiteRT ML Drift‑GPU‑acceleratorn. Utvecklare kan använda LiteRT‑ML Drift‑acceleratorn medan GPU‑ och systemspecialister kan utnyttja dess lågnivå‑C++‑API för att bygga egna GpuModel‑beräkningsgrafer och skriva egna shaders.