모델

구글, ML 드리프트로 온디바이스 AI 추론을 다양한 GPU에서 가속

2026년 10월 28일 · 읽는 시간 2분

cable network
Taylor Vick / Unsplash

구글은 ML 드리프트를 출시해 온디바이스 AI 추론을 다양한 GPU에서 가속합니다. 이 엔진은 오픈소스이며 Apache 2.0 라이선스를 따릅니다. ML 드리프트는 다양한 GPU 하드웨어와 저수준 API의 복잡성을 추상화합니다. OpenGL ES, OpenCL, Metal, WebGPU를 지원합니다. 이 엔진은 LiteRT의 핵심 GPU 가속 엔진입니다. 구글은 이를 오픈소스로 공개해 개발자가 맞춤형 그래픽 및 추론 런타임을 구축할 수 있도록 돕습니다. ML 드리프트의 주요 목표는 다양한 GPU 하드웨어에 대한 접근을 간소화하는 것입니다. 개발자는 GPU 아키텍처, 드라이버 버전, 저수준 API를 미리 알 수 없습니다. ML 드리프트는 새로운 이동성 및 성능 기반을 제시합니다. 안정성은 기존 ML에, 고성능은 생성형 AI에 제공됩니다. 기술적 개선 사항으로는 통합 쉐이더, 확장 가능한 커스텀 연산, 5차원 텐서 지원이 있습니다.

Arm, Intel, Qualcomm GPU에 대한 하드웨어 최적화가 포함됩니다. 데스크톱 지원은 Windows와 Linux에서 Dawn을 통해 제공됩니다. Dawn은 WebGPU의 하드웨어 추상화 레이어를 사용합니다. macOS는 네이티브 Metal 백엔드를 유지합니다. ML 드리프트는 Gemma 모델을 사용해 벤치마킹했습니다. 다른 프레임워크보다 메모리 오버헤드가 12% 낮습니다. Chrome, YouTube Shorts, Photos, Meet 등에서 수백만 대 기기에서 실행 중입니다. YouTube Shorts에서는 세그멘테이션 효과 프레임_latency가 40% 감소했습니다. Google Photos에서는 계산 사진 처리 속도가 2초 빨라졌습니다. Adobe Lightroom과 Photoshop에서는 AI 기반 편집 기능이 최대 30% 빨라졌습니다.

Snapchat에서는 Android에서 모델_latency가 30% 감소했습니다. ML 엔지니어 파비라 아그라하람은 5차원 텐서 지원이 레이아웃 해킹 없이 작동한다고 평가했습니다. Tensorust 창시자 매튜 찰스 브루노는 Core ML과의 비교를 묻는 질문을 제기했습니다. 구글은 비교 데이터를 공개하지 않았습니다. 구글은 ML 드리프트 출시와 함께 기존 TensorFlow Lite GPU delegate 업데이트를 중단합니다. 기존 모델은 LiteRT ML 드리프트 GPU 가속기로 마이그레이션해야 합니다. 개발자는 LiteRT ML 드리프트 가속기를 사용할 수 있습니다. 시스템 엔지니어는 C++ API를 통해 커스텀 GpuModel 그래프를 구성할 수 있습니다.