Google otwiera kod silnika ML Drift do przyspieszania wnioskowania na urządzeniach
28 października 2026 · Czas czytania: 3 min
Google udostępniło ML Drift, otwartą na licencji Apache 2.0, wieloplatformową silnik obliczeń GPU przeznaczony do wnioskowania w sztucznej inteligencji i uczeniu maszynowym bezpośrednio na urządzeniach. Narzędzie abstrahuje złożoności różnorodnego sprzętu graficznego oraz niskopoziomowych interfejsów programistycznych, wspierając standardy OpenGL ES, OpenCL, Metal i WebGPU.
Silnik ten stanowi rdzeń akceleracji GPU dla platformy LiteRT. Udostępnienie kodu źródłowego ma umożliwić twórcom oprogramowania budowanie własnych środowisk uruchomieniowych dla grafiki i wnioskowania. Zastosowania obejmują tradycyjne przetwarzanie obrazów, dźwięku i głębokości, a także generatywną sztuczną inteligencję. Głównym celem projektu jest uproszczenie dostępu do zróżnicowanego sprzętu GPU, z którym programiści spotykają się przy tworzeniu aplikacji na urządzenia brzegowe. Twórcy często nie wiedzą z góry, na jakiej konkretnej architekturze, wersji sterownika czy interfejsie niskopoziomowym będzie działać ich aplikacja.
Według Google, ML Drift ma stać się nową podstawą dla przenośności i wydajności, zapewniając stabilność dla klasycznych modeli oraz szczytową wydajność dla najbardziej zaawansowanej generatywnej sztucznej inteligencji. W porównaniu z poprzednim delegatem GPU dla TensorFlow Lite, nowy silnik wprowadza ujednolicone szablony graficzne przez wirtualizację tensorów, rozszerzalne operacje niestandardowe oraz wsparcie dla tensorów pięciowymiarowych. Zawiera również optymalizacje sprzętowe dla procesorów graficznych od Arm, Intel i Qualcomm Technologies, aby maksymalizować wykorzystanie nowoczesnych GPU.
Wsparcie dla komputerów stacjonarnych na systemach Windows i Linux realizowane jest przez bibliotekę Dawn, implementację WebGPU z przeglądarki Chromium, podczas gdy na macOS zachowano natywny backend Metal. Dawn zapewnia ujednolicony model interfejsu, wykorzystując warstwę abstrakcji sprzętowej WebGPU, co eliminuje konieczność bezpośredniego łączenia się z interfejsami graficznymi takimi jak DirectX czy Vulkan.
Google przetestowało ML Drift, wykorzystując modele Gemma na sprzęcie stacji roboczych dla deweloperów. Zgłoszono o 12 procent niższe obciążenie pamięci w porównaniu z innymi frameworkami, takimi jak llama.cpp i MLX LM. Firma podkreśliła, że silnik działa już na milionach urządzeń w aplikacjach, takich jak Chrome, YouTube Shorts, Photos i Meet. W YouTube Shorts osiąga się do 40 procent redukcji średniej opóźnienia klatek dla efektów opartych na segmentacji na Androidzie i iOS. W aplikacji Google Photos przyspiesza obliczeniowe przetwarzanie zdjęć i segmentację o do dwóch sekund. Aplikacje Adobe Lightroom i Photoshop zyskują poprawę wydajności do 30 procent dla wybranych funkcji edycji zdjęć opartych na sztucznej inteligencji, takich jak zaznaczanie przedmiotu, zaznaczanie nieba i adaptacyjny portret. Snapchat odnotowuje 30 procentową redukcję opóźnienia modeli dla efektów generowania twarzy i stylu na Androidzie, co umożliwia użycie większych modeli dyfuzyjnych.
Z okazji ogłoszenia, inżynierka AI/ML Pavithra Agraharam na LinkedIn stwierdziła, że natywne wsparcie dla tensorów 5D bez sztuczek z układem to ogromna korzyść dla uruchamiania modeli przestrzennych i transformerów na GPU brzegowych. Rozdzielenie tensorów logicznych od przydziałów pamięci fizycznej powinno znacząco zmniejszyć fragmentację pamięci podczas wnioskowania na żywo. Z kolei Matthew Charles Vladislav Busel, założyciel Tensorust, zapytał, jak rozwiązanie porównuje się z Core ML na najnowszych iPhone'ach pod względem opóźnienia i pamięci, ponieważ to z tym rozwiązaniem większość programistów dziś pracuje, choć Google nie dostarczyło porównawczych danych. Wraz z wydaniem ML Drift, Google zaprzestanie aktualizacji poprzedniego delegata GPU dla TensorFlow Lite. W celu zachowania kompatybilności wstecznej z istniejącymi modelami, firma zaleca migrację do akceleratora GPU LiteRT ML Drift. Deweloperzy aplikacji mogą korzystać z tego akceleratora, a inżynierowie GPU i systemowi mają dostęp do jego niskopoziomowego interfejsu C++ w celu budowania niestandardowych grafów obliczeniowych GpuModel i pisania własnych szablonów graficznych.