구글이 파이썬 없이 AI 모델 추론 가속화하기 위해 XLA Serving Engine 공개
2026년 11월 15일 · 읽는 시간 2분
구글은 파이썬 인터프리터 없이 AI 모델을 추론할 수 있는 XLA Serving Engine(XSE)을 공개했습니다. 이 엔진은 이미 구글 검색, 구글 광고, 유튜브 쇼츠 등 여러 서비스에서 대규모로 사용 중이며, 초당 6백만 건 이상의 쿼리를 처리하고 있습니다.
구글이 측정한 결과에 따르면, XSE는 최적화된 파이썬 서버보다 2~5배 높은 처리량을 제공하며, 메모리 사용량은 4분의 1 수준으로 줄일 수 있습니다. 이러한 성능 향상은 짧은 쿼리 작업에 최적화된 파이썬 서버를 기준으로 한 것입니다.
기술적으로, XSE는 모델 설계와 학습 단계에서는 파이썬을 유지하다가, 추론 단계에서는 XLA 컴파일러를 기반으로 한 C++ 환경에서 실행됩니다. 개발자들은 JAX를 계속 사용해 모델을 설계할 수 있으며, 학습된 계산과 파라미터는 XLA SavedModel 형식으로 내보내집니다. 이 형식은 StableHLO를 중간 표현으로 사용해 컴파일됩니다.
XSE는 이러한 연산들을 실행 인프라에 맞는 네이티브 코드로 컴파일하며, 쿼리 처리 과정에서 파이썬 인터프리터는 더 이상 사용되지 않습니다. 또한, 구글은 XSE를 TorchTPU와 통합해 PyTorch 모델을 TPU 가속기에서 쉽게 사용할 수 있도록 할 계획입니다. XLA 생태계는 CPU와 GPU에서도 작동 가능해, 다양한 하드웨어 환경을 가진 기업에도 유용할 수 있습니다.
이 엔진은 대규모 생성형 언어 모델보다는 추천 시스템, 순위 결정, 실시간 의사 결정 등 높은 처리량의 추론 작업에 초점을 맞추고 있습니다. vLLM이나 SGLang 같은 전문 플랫폼의 대체제가 아니라, ONNX Runtime이나 LibTorch와 같은 기존 솔루션과 함께 사용될 수 있습니다.
XSE의 출시는 개발 환경과 생산 환경을 분리할 수 있는 새로운 가능성을 제공합니다. 기존 모델의 마이그레이션 용이성, 다양한 하드웨어 지원, 실제 운영에서의 성능 개선이 채택 여부를 결정할 것입니다. 메모리 사용량 감소는 모델 배치 밀도를 높이고, 트래픽을 처리하는 데 필요한 자원을 줄일 수 있어, 인프라 운영자들에게 중요한 요소가 될 수 있습니다.
이러한 움직임은 이미 파이썬 기반의 전체 소프트웨어 스택 없이 모델을 실행할 수 있는 솔루션이 시장에 존재한다는 점에서 의미가 있습니다. ONNX Runtime과 LibTorch가 그 예이며, 구글은 자사의 서비스에서 검증된 아키텍처를 산업화하는 데 주력하고 있습니다. XSE는 이러한 흐름의 연장선상에서, transaction 애플리케이션, recommendation 시스템, real-time decision 메커니즘에 특화된 모델을 위한 새로운 옵션을 제공합니다.
구글의 XLA Serving Engine은 AI 모델 추론의 생산성을 높이기 위한 기술적 진전을 보여주며, 기업들이 개발과 운영 환경을 더 유연하게 구성할 수 있도록 지원합니다.