Llm-d 1.0 gelanceerd onder CNCF voor productieklare AI-inferentie
23 oktober 2026 · 2 min leestijd
De ontwikkelaars van het project llm-d hebben llm-d 1.0 gelanceerd. Dit open-source-software is onder toezicht van de CNCF en is bedoeld voor gedistribueerde inferentie van grote taalmodellen. Deze versie richt zich op dag-tot-dag-operaties in productie, met ondersteuning voor multi-tenant kwaliteit van dienst, zero-downtime-upgrades, een stabiele configuratie-API en agent-aware serving. Het project werd in 2025 opgericht door Red Hat, IBM, Google Cloud, CoreWeave en NVIDIA, voordat het onder de Cloud Native Computing Foundation kwam. Het project helpt organisaties die inferentie moeten uitvoeren op grote schaal, terwijl agentic AI nieuwe uitdagingen met zich meebrengt. AI-agents moeten veel context hergebruiken en werken vaak parallel, wat onverwachte verkeerspieken kan veroorzaken. De contextbeheer kan meer bronnen vereisen dan het genereren van de uiteindelijke uitvoer. Llm-d ondersteunt al verschillende hardwareconfiguraties en heeft functies zoals prefix-cache, load-aware routing, KV cache offloading, prefill/decode disaggregation, wide expert parallelism, batch en async inferentie.
Het werkt met verschillende model servers zoals vLLM en SGLang. De nieuwe functies van llm-d 1.0 zijn gericht op het beheren van inferentie in productie. Multi-tenant kwaliteit van dienst biedt flow control met prioriteit en fairness, zodat laaglatentie-requests en agent-traffic op dezelfde fleet kunnen worden verwerkt zonder bronnen te verdringen. Zero-downtime-operaties bieden router high availability en rolling updates, zodat verkeer kan blijven stromen tijdens upgrades of geplande onderhoudsbeurten. De configuratie-API v1 en request paths zijn getest op verschillende clouds en accelerators, zodat organisaties een stabiele basis hebben. Agent-aware serving gebruikt session-aware routing om multi-turn conversaties te sturen naar context in de cache, samen met turn-priority scheduling en native ondersteuning voor state van Responses API. Dit helpt agents om context her te gebruiken en herverwerking te verminderen. In een recente test van IBM Research met een open frontier model en llm-d voor het ontwerpen van quantum error correction hardware, bleek de inferentiekosten 11.5 keer lager dan bij proprietary systemen.
De prefix-cache hit rate was ongeveer 98% en de gemiddelde kosten per miljoen tokens waren ongeveer 0.11 dollar. Een andere test met een GLM 5.2 model op NVIDIA GPU's toonde een output van meer dan 6.6 miljoen tokens per seconde, met ondersteuning voor 3.000 coding agents zonder preemption. De kosten per token waren 5-10 keer lager dan vergelijkbare commerciële API's, vooral bij zware input-traffic. Llm-d heeft meer dan 500 ontwikkelaars uit 25 organisaties. Partners zoals Google Cloud, CoreWeave, NVIDIA, AMD, DigitalOcean, JetBrains, Mistral, Cohere en Roblox gebruiken llm-d in hun systemen. De gemeenschap van llm-d plant om nieuwe hardware en modellen te ondersteunen in de toekomst.