分離推論の導入によりGPU効率を倍増させコストを削減
2026年10月22日 · 読了 1 分
他の言語でも公開 Português (Brasil)
あるグローバル小売業者が、製品検索と推奨のパイプラインに70Bモデルを統合した際、推論コストの増大とピーク時の遅延上昇に直面しました。同社はNVIDIA H100 GPUを24基から48基に増設していましたが、依然として課題が残っていました。
分析の結果、GPUの利用状況は二峰性の分布を示していました。プロンプト処理段階では計算負荷が92パーセントに達していましたが、トークン生成段階では負荷が30パーセントまで低下し、メモリ帯域幅がボトルネックとなっていました。このため、GPUの最大性能が発揮されていたのは全実行時間の約5パーセントに過ぎませんでした。
この課題に対し、プロンプト処理とトークン生成を別々のGPUプールに分ける「分離推論」という手法が導入されました。この構成では、ルーティング層が推論フェーズに応じてリクエストを適切なプールへ転送します。この手法はPerplexity、Meta、LinkedIn、Mistralなどの企業で既に採用されており、NVIDIAのDynamoやvLLM、SGLang、そしてRed HatとIBM Researchが公開したllm-dなどのフレームワークによってサポートされています。
実証実験では、既存のハードウェアを再構成して8基をプロンプト処理専用、残りをトークン生成専用に割り当てました。その結果、プロンプト処理プールの負荷は90から95パーセントを維持し、トークン生成プールの帯域利用率は30パーセントから70パーセント以上に向上しました。これにより、全体の計算効率は約2倍になりました。
コスト面では、年間約200万ドルの推論費用を60万ドルから80万ドル削減できる見込みとなりました。また、プロンプト処理によるトークン生成のブロックが解消されたため、P99レイテンシが平準化し、ユーザー体験も改善されました。