Google、XSEでPythonを排除し推論速度を最大5倍に
2026年11月15日 · 読了 1 分
Googleは、人工知能モデルの推論をPythonのインタープリターなしで実行するエンジン「XLA Serving Engine（XSE）」を公開した。この技術は、同社の複数のサービスで既に大規模に利用されており、最適化されたPythonサーバーと比較して、最大5倍の処理速度とメモリ使用量の削減を実現するとされている。
Pythonはモデル開発や実験において中心的な役割を果たしているが、大量のリクエストを厳格な遅延要件で処理する本番環境では制約となる場合がある。XSEは、設計と学習段階ではPythonを使用しつつ、推論段階ではC++環境とコンパイル済みコードに切り替えることで、この課題を解決する。リクエスト処理は、対象となるプロセッサやアクセラレーター向けにコンパイルされたコードに基づいて行われる。
Googleによれば、XSEはGoogle検索、Google広告、YouTubeショートなど複数のサービスで、1秒あたり600万リクエスト以上を処理している。これらの展開は、結果のランキング、レコメンデーションシステム、コンピュータビジョンなど、迅速な応答を必要とするアプリケーションに主に適用されている。
測定結果によると、短いリクエストに対してXSEは、最も最適化されたPythonサーバーの2倍から5倍のスループットを示す。また、メモリ使用量は4分の1に抑えられる。ただし、これらの数値はGoogleが評価した特定の環境やワークロードに基づくものであり、すべてのモデルで同様の効果が得られることを保証するものではない。
技術的には、開発者はJAXを使用してモデルを設計し、学習済みの計算やパラメータを「XLA SavedModel」形式にエクスポートする。この形式は、操作の中間表現としてStableHLOに依存している。XSEはXLAコンパイラを使用して、これらの操作を実行基盤に適したネイティブコードにコンパイルする。また、PyTorchモデルをTPUで利用しやすくするため、TorchTPUとの統合も予定されている。
XSEは、生成系大規模言語モデルの推論プラットフォームを置き換えることを意図していない。むしろ、トランザクション型アプリケーションやリアルタイムの意思決定メカニズムに組み込まれるモデルをターゲットとしている。ONNX RuntimeやLibTorchなど、Pythonスタックを完全に保持せずにモデルを実行する既存のソリューションが存在する中、Googleは自社のサービスで実証済みのアーキテクチャを産業化する狙いがある。