Google rilascia ML Drift per accelerare l'inferenza dell'intelligenza artificiale sui dispositivi
28 ottobre 2026 · 2 min di lettura
Google ha rilasciato ML Drift, un motore di calcolo per GPU cross platform e open source, progettato per l'inferenza di apprendimento automatico e intelligenza artificiale direttamente sui dispositivi. Il software è distribuito con licenza Apache 2.0 e serve a semplificare le complessità legate alle diverse API di basso livello e all'hardware delle GPU, offrendo supporto per WebGPU, Metal, OpenCL e OpenGL ES.
Questo motore costituisce il nucleo per l'accelerazione GPU che alimenta LiteRT. Rendendolo open source, Google permette agli sviluppatori di creare runtime di inferenza e grafica personalizzati per diverse applicazioni, che spaziano dall'intelligenza artificiale generativa alla visione artificiale tradizionale, all'elaborazione dell'audio e della profondità.
ML Drift introduce miglioramenti tecnici rispetto al precedente delegato GPU di TensorFlow Lite, tra cui il supporto per tensori a cinque dimensioni, operazioni personalizzate estensibili e shader unificati tramite la virtualizzazione dei tensori. Il sistema include ottimizzazioni specifiche per l'hardware delle GPU prodotte da Qualcomm Technologies, Intel e Arm per massimizzare l'utilizzo dell'hardware.
Per quanto riguarda il supporto desktop su Linux e Windows, ML Drift utilizza Dawn, l'implementazione di WebGPU di Chromium, mentre mantiene il supporto nativo per il backend Metal su macOS. Dawn fornisce un modello di API unificato che sfrutta lo strato di astrazione hardware di WebGPU, eliminando la necessità di interfacciarsi direttamente con API grafiche specifiche per piattaforma come Vulkan e DirectX.
Nei test effettuati con modelli Gemma su workstation per sviluppatori, Google ha riportato un sovraccarico di memoria inferiore del 12% rispetto ad altri framework, tra cui MLX LM e llama.cpp. L'azienda ha dichiarato che ML Drift è già attivo su milioni di dispositivi tramite applicazioni come Meet, Photos, YouTube Shorts e Chrome.
In YouTube Shorts, il sistema raggiunge una riduzione della latenza media dei frame fino al 40% per gli effetti basati sulla segmentazione su iOS e Android. In Google Photos, accelera le pipeline di segmentazione e fotografia computazionale fino a due secondi. Adobe Lightroom e Photoshop registrano miglioramenti delle prestazioni fino al 30% per alcune funzioni di editing fotografico basate sull'intelligenza artificiale, come Adaptive Portrait, Select Sky e Select Subject. Snapchat ha riscontrato una riduzione della latenza dei modelli del 30% per gli effetti di generazione di stile e volto su Android.
Google interromperà l'aggiornamento del vecchio delegato GPU di TensorFlow Lite. Per mantenere la compatibilità con i modelli esistenti, l'azienda consiglia la migrazione all'acceleratore GPU di LiteRT ML Drift. Gli sviluppatori di applicazioni possono utilizzare l'acceleratore, mentre gli ingegneri di sistema e GPU possono accedere all'API C++ di livello inferiore per scrivere shader personalizzati e costruire grafi di calcolo GpuModel.