Disaggregated Inference duplica eficiência de GPUs sem custos adicionais

Uma análise de infraestrutura de inferência em LLM para um varejista global revelou que a maioria das GPUs permanecia ocias em até 95% do tempo, devido a um perfil de carga de trabalho bimodais entre pré-processamento e geração de tokens. O problema foi identificado durante o período de pico de Natal, quando o consumo de horas de GPU se disparou, gerando preocupação no time financeiro. O cliente já havia ampliado de 24 para 48 GPUs NVIDIA H100, mas a latência continuava subindo sob carga. Diante da necessidade de escalar para 96 GPUs no plano, foi proposto o uso de Disaggregated Inference, separando as GPUs em dois pools: um focado em processamento de prompts e outro em geração de tokens.

A solução exigiu apenas reconfiguração da camada de serviço e uma política de roteamento, sem novos hardwares. O pool de pré-processamento atingiu 90-95% de utilização, enquanto o pool de geração de tokens melhorou a eficiência da banda de memória de 30% para mais de 70%. O resultado foi o dobro da eficiência computacional e uma redução estimada de 600.000 a 800.000 dólares anuais em custos de inferência. A latência P99 entre tokens também se estabilizou, eliminando interrupções causadas por prompts concorrentes. No entanto, a abordagem não é ideal para prompts curtos ou ambientes com menos de uma dúzia de GPUs.