Wersja 1.0 oprogramowania llm-d udostępniona pod egidą CNCF
23 października 2026 · Czas czytania: 2 min
Deweloperzy projektu llm-d wydali wersję 1.0 oprogramowania o otwartym kodzie źródłowym pod nadzorem CNCF, które służy do rozproszonego wnioskowania dużych modeli językowych. Nowa wersja koncentruje się na operacjach drugiego dnia w środowiskach produkcyjnych, oferując obsługę jakości usług wielodostępnych, aktualizacje bez przestojów, stabilny interfejs programistyczny konfiguracji v1 oraz obsługę serwowania dostosowaną do agentów sztucznej inteligencji.
Projekt llm-d został założony w 2025 roku przez Red Hat, IBM, Google Cloud, CoreWeave oraz NVIDIA, a następnie przekazany do Cloud Native Computing Foundation. Narzędzie wspiera organizacje uruchamiające wnioskowanie na dużej infrastrukturze, rozwiązując problemy związane z agentami sztucznej inteligencji, którzy generują nieprzewidywalny ruch i wymagają częstego ponownego wykorzystywania dużych kontekstów.
Funkcje jakości usług dla wielu użytkowników wprowadzają kontrolę przepływu opartą na priorytetach i sprawiedliwości, co pozwala na współdzielenie zasobów przez żądania o niskim opóźnieniu i agentów o gwałtownym ruchu. Operacje bez przestojów są możliwe dzięki wysokiej dostępności routerów w trybie gorącej rezerwy oraz aktualizacjom kroczącym. Serwowanie świadome agentów wykorzystuje routing świadomy sesji, który kieruje wieloturowe rozmowy do punktów z zapisanym kontekstem w pamięci podręcznej, co redukuje powtarzanie obliczeń.
Badania IBM Research wykazały, że przy użyciu otwartego modelu frontier i llm-d do projektowania korekcji błędów kwantowych, koszty wnioskowania były 11,5 raza niższe niż w systemach zastrzeżonych, przy średnim koszcie 0,11 dolara za milion tokenów. Inne testy z modelem GLM 5.2 o rozmiarze 753 miliardów parametrów na procesorach graficznych NVIDIA wykazały wydajność powyżej 6,6 miliona tokenów na minutę, obsługując do 3000 agentów programistycznych jednocześnie.
Google Cloud integruje llm-d 1.0 z Google Kubernetes Engine dla jednostek TPU i GPU NVIDIA. CoreWeave umożliwia uruchamianie oprogramowania w ramach CoreWeave Kubernetes Service z NVIDIA Dynamo, a NVIDIA planuje wdrożenie go na NVIDIA Vera Rubin. Wsparcie zapewniono również dla procesorów graficznych AMD Instinct. Z systemu korzystają organizacje takie jak DigitalOcean, JetBrains, Mistral, Cohere oraz Roblox.