---
title: llm-d 1.0 lanseres under CNCF med støtte for produksjonsdrift og agentbetjening
url: https://www.elseif.net/no/llm-d-10-lanseres-under-cncf-med-stotte-for-produksjonsdrift-og-agentbetjening
published: 2026-10-23T13:36:18+00:00
language: no
section: Harnesses
source: https://www.techtalkthai.com/llm-d-1-0-cncf-production-ready-distributed-ai-inference/
organizations: CNCF, Red Hat, IBM, Google Cloud, CoreWeave, NVIDIA
publisher: elseif
---

# llm-d 1.0 lanseres under CNCF med støtte for produksjonsdrift og agentbetjening

Prosjektgruppen bak llm-d har offisielt lansert versjon 1.0 av programvaren, en åpen kildekode-løsning for distribuert inferens av store språkmodeller som nå opererer under tilsyn av Cloud Native Computing Foundation. Denne utgivelsen fokuserer spesifikt på driftsoppgaver i produksjonsmiljøer, inkludert kvalitetssikring for flere leietakere, oppgraderinger uten driftsstans og en stabil konfigurasjons-API, samtidig som den introduserer spesialisert betjening for kunstig intelligens-agenter. Prosjektet ble opprinnelig etablert i 2025 av Red Hat, IBM, Google Cloud, CoreWeave og NVIDIA før det ble overført til den nåværende stiftelsen.

Den nye versjonen adresserer unike utfordringer knyttet til agenter, som krever hyppig gjenbruk av store mengder kontekst og skaper uforutsigbare trafikktopper på grunn av parallell kjøring. For å håndtere dette inneholder oppdateringen funksjoner for sesjonsbevisst ruting som sender samtaler til noder der konteksten allerede er hurtiglagret, kombinert med prioritering per samtaleomgang og innebygd støtte for tilstandsbehandling. Dette reduserer behovet for gjentatt beregning når agenter henter informasjon over flere steg i en prosess.

Systemet tilbyr også mekanismer for kvalitetsstyring som tar hensyn til prioritet og rettferdighet, noe som gjør det mulig for oppgaver med krav om lav forsinkelse og agenttrafikk med store svingninger å dele samme infrastruktur uten å forstyrre hverandre. Driftsstabilitet er sikret gjennom støtte for høy tilgjengelighet med varm reserve og rullerende oppdateringer, slik at trafikkflytet opprettholdes under vedlikehold. Løsningen behandler replikaer for forhåndsutfylling og dekoding som en logisk enhet for koordinerte utrullinger, noe som muliggjør pålitelig bruk av disaggregert betjening i produksjon.

Ytelsestester utført av IBM Research viste at bruk av løsningen med en åpen grensemodell for kvantefeilkorreksjon reduserte inferenskostnadene med en faktor på 11,5 sammenlignet med proprietære systemer, med en treffrate for hurtiglager på omtrent 98 prosent og en gjennomsnittlig kostnad på 0,11 dollar per million token. I en separat test med en åpen vektsmodell basert på ekspertblanding på 753 milliarder parametere, oppnådde systemet en utdatakapasitet på over 6,6 millioner token per minut mens det støttet 3000 samtidige kodingsagenter uten avbrytelser. Beregninger basert på nåværende skypriser indikerer at kostnaden per token er fem til ti ganger lavere enn tilsvarende kommersielle API-er, spesielt for arbeidsmengder med tung inndata.

Over 500 bidragsytere fra mer enn 25 organisasjoner deltar i utviklingen, og flere store teknologiselskaper har kunngjort integrasjonsplaner. Google Cloud integrerer programvaren i sin Kubernetes-motor med støtte for både egne prosessorer og grafikkprosessorer fra NVIDIA, mens CoreWeave tilbyr kjøring på sin tjeneste sammen med dynamiske løsninger fra NVIDIA. Fremtidige planer inkluderer støtte for nye maskinvaregenerasjoner fra NVIDIA og AMD, og selskaper som DigitalOcean, JetBrains, Mistral, Cohere og Roblox benytter allerede teknologien i sine egne modellbetjeningssystemer.