llm-d 1.0: il lancio sotto CNCF per l'inferenza distribuita in produzione

llm-d 1.0, il software open source per l'inferenza distribuita dei modelli linguistici di grandi dimensioni, è stato lanciato sotto la guida della Cloud Native Computing Foundation. llm-d 1.0 è progettato per supportare le operazioni di produzione, inclusa la qualità del servizio multi-tenant, gli aggiornamenti senza interruzioni e il servizio consapevole degli agenti. llm-d è stato fondato nel 2025 da Red Hat, IBM, Google Cloud, CoreWeave e NVIDIA, prima di essere trasferito sotto la gestione della CNCF. llm-d mira a facilitare l'inferenza per le organizzazioni che operano su infrastrutture di grandi dimensioni, affrontando le sfide poste dall'intelligenza artificiale agentica. llm-d supporta già una vasta gamma di hardware e funzionalità avanzate come il caching delle prefissi e il routing consapevole del carico. llm-d 1.0 introduce nuove capacità per la gestione delle operazioni di inferenza in produzione.

llm-d 1.0 offre una qualità del servizio multi-tenant con controllo del flusso che considera la priorità e l'equità, permettendo di gestire richieste con bassa latenza e traffico elevato senza conflitti di risorse. llm-d 1.0 supporta operazioni senza interruzioni con router ad alta disponibilità e aggiornamenti rolling, garantendo continuità del traffico durante gli aggiornamenti o le manutenzioni. llm-d 1.0 fornisce una base stabile con un API di configurazione v1 testata su diverse piattaforme cloud e acceleratori. llm-d 1.0 include il servizio consapevole degli agenti, utilizzando il routing consapevole delle sessioni per ottimizzare il recupero del contesto e ridurre il ri-elaborazione. llm-d 1.0 è stato testato con successo in vari scenari di produzione. llm-d 1.0 ha dimostrato una riduzione significativa dei costi di inferenza rispetto ai sistemi proprietari, con un tasso di hit del cache dei prefissi del 98% e un costo medio di servizio di 0.11 dollari per milione di token.