---
title: llm-d 1.0: Open-Source-Software für verteilte Inferenz in der Produktion
url: https://www.elseif.net/de/llm-d-10-open-source-software-fur-verteilte-inferenz-in-der-produktion
published: 2026-10-23T14:05:41+00:00
language: de
section: Harnesses
source: https://www.techtalkthai.com/llm-d-1-0-cncf-production-ready-distributed-ai-inference/
organizations: CNCF, CoreWeave, Google, IBM, NVIDIA, Red Hat
publisher: elseif
---

# llm-d 1.0: Open-Source-Software für verteilte Inferenz in der Produktion

Das llm-d-Projekt hat llm-d 1.0 veröffentlicht. Es handelt sich um Open-Source-Software, die unter der Cloud Native Computing Foundation (CNCF) entwickelt wurde. Diese Version ist für den Einsatz in der Produktion konzipiert und unterstützt Multi-Tenant-Qualitätssicherung, Agent-aware-Serving und Zero-Downtime-Upgrades. Das Projekt wurde 2025 von Red Hat, IBM, Google Cloud, CoreWeave und NVIDIA gegründet und später von der CNCF übernommen. Es zielt darauf ab, Organisationen zu unterstützen, die Inferenz auf großen Infrastrukturen betreiben müssen, insbesondere in Umgebungen mit agentischen KI-Anwendungen. Diese Anwendungen erfordern eine effiziente Verwaltung von Kontexten und Traffic, da mehrere Agenten parallel arbeiten und unvorhersehbare Traffic-Spitzen verursachen können. Die Verwaltung von Kontexten kann oft mehr Ressourcen beanspruchen als die Erstellung der endgültigen Ergebnisse. llm-d unterstützt bereits eine Vielzahl von Hardware-Konfigurationen und bietet Funktionen wie Prefix-Cache, Load-Aware-Routing, KV-Cache-Offloading und Batch- sowie Asynchron-Inferenz.

Es ist kompatibel mit verschiedenen Model-Servern wie vLLM und SGLang. Die neuen Funktionen von llm-d 1.0 konzentrieren sich auf die Verwaltung von Inferenz-Systemen in der Produktion. Dazu gehören Multi-Tenant-Qualitätssicherung mit Flow-Control, die Prioritäten und Fairness berücksichtigt, um sicherzustellen, dass Anfragen mit niedriger Latenz und Agenten-Traffic auf derselben Infrastruktur betrieben werden können, ohne sich gegenseitig zu beeinträchtigen. Zero-Downtime-Operationen werden durch Router-High-Availability und Rolling-Updates unterstützt, die sicherstellen, dass der Traffic während Upgrades oder Wartungsarbeiten weiterfließt. Die Konfigurations-API v1 und die Request-Pfade wurden auf verschiedenen Cloud-Plattformen und Acceleratoren getestet, um eine stabile Grundlage zu bieten. Agent-aware-Serving nutzt Session-aware-Routing, um mehrteilige Gespräche an die richtigen Cache-Punkte zu leiten und die Wiederverwendung von Kontexten zu fördern. Dies reduziert die Notwendigkeit von doppelter Verarbeitung. In einem aktuellen Einsatz von IBM Research mit einem Open-Frontier-Modell und llm-d für die Hardware-Entwicklung von Quantum-Error-Correction wurde festgestellt, dass die Inferenz-Kosten um das 11,5-fache niedriger sind als bei proprietären Systemen.

Die Prefix-Cache-Trefferquote lag bei etwa 98 Prozent, und die durchschnittlichen Betriebskosten betrugen etwa 0,11 Dollar pro Million Token. Ein weiterer Test mit dem GLM 5.2-Modell auf NVIDIA-GPUs zeigte, dass das System bis zu 6,6 Millionen Token pro Sekunde verarbeiten kann und bis zu 3.000 Coding-Agenten gleichzeitig unterstützt, ohne Preemption. Dies führt zu erheblichen Kosteneinsparungen im Vergleich zu kommerziellen APIs, insbesondere bei hohen Eingabe-Traffic-Szenarien. Das llm-d-Projekt hat über 500 Entwickler aus mehr als 25 Organisationen. Partner wie Google Cloud, CoreWeave und NVIDIA integrieren llm-d in ihre Dienste, während Organisationen wie DigitalOcean und Roblox es für ihre eigenen Modell-Dienste nutzen. Die Community plant, die Unterstützung für neue Hardware und Modelle kontinuierlich zu erweitern.