---
title: CNCF çatısı altında llm-d 1.0 yayınlandı
url: https://www.elseif.net/tr/cncf-catisi-altinda-llm-d-10-yayinlandi
published: 2026-10-23T14:32:50+00:00
language: tr
section: Modeller
source: https://www.techtalkthai.com/llm-d-1-0-cncf-production-ready-distributed-ai-inference/
organizations: CNCF, Red Hat, IBM, Google Cloud, CoreWeave, NVIDIA
publisher: elseif
---

# CNCF çatısı altında llm-d 1.0 yayınlandı

llm-d geliştirici grubu, büyük dil modelleri için dağıtık çıkarım sağlayan açık kaynaklı yazılım llm-d 1.0 sürümünü CNCF yönetimi altında piyasaya sürdü.

Bu sürüm, üretim ortamındaki ikinci gün operasyonlarını desteklemeye odaklanıyor. Yazılım, çok kiracılı hizmet kalitesi, kesintisiz yükseltmeler, kararlı yapılandırma API v1 ve yapay zeka ajanlarına özel hizmet sunma özelliklerini içeriyor.

llm-d, 2025 yılında Red Hat, IBM, Google Cloud, CoreWeave ve NVIDIA tarafından kuruldu ve daha sonra Cloud Native Computing Foundation bünyesine geçti. Proje, büyük altyapılarda çıkarım işlemleri yürüten kuruluşlara yardımcı olmayı hedefliyor. Özellikle yapay zeka ajanlarının oluşturduğu değişken trafik ve yoğun bağlam yönetimi kaynakları yüksek oranda tükettiği için bu ihtiyaçlara yönelik çözümler sunuyor.

Sürüm 1.0 ile gelen çok kiracılı hizmet kalitesi, öncelik ve adalet odaklı akış kontrolü sağlayarak düşük gecikme süreli isteklerin ve ajan trafiğinin aynı filoda birbirini engellemeden çalışmasına olanak tanıyor. Kesintisiz operasyonlar için sıcak yedekleme ile yönlendirici yüksek kullanılabilirliği ve kademeli güncelleme desteği getirildi. Ayrıca, oturum farkındalıklı yönlendirme ve yerel yanıt API durum desteği sayesinde ajanlar, bağlamı turlar arasında yeniden kullanabiliyor ve tekrarlanan işlemleri azaltabiliyor.

IBM Research tarafından yapılan bir çalışmada, açık sınır modelinin llm-d ile kullanımı, tamamen tescilli sistemlere kıyasla çıkarım maliyetlerini 11,5 kat düşürdü. Bu senaryoda ön ek önbellek isabet oranı yaklaşık yüzde 98 olarak gerçekleşirken, ortalama hizmet maliyeti 1 milyon token başına 0,11 dolar oldu.

Bir başka testte, 753 milyar parametreli GLM 5.2 modeli NVIDIA GPU'lar üzerinde çalıştırıldı. Yüzlerce paralel ajan oturumuyla sistem, dakikada 6,6 milyondan fazla token çıktısı sağladı ve herhangi bir ön alma işlemi olmadan 3.000 kodlama ajanını aynı anda destekledi. Bulut kiralama maliyetleri üzerinden yapılan hesaplamada, token başına maliyetin benzer ticari API'lerden 5 ile 10 kat daha düşük olduğu belirlendi.

Google Cloud, llm-d 1.0'ı Google Kubernetes Engine'e entegre ederek Google TPU ve NVIDIA GPU'lar üzerinde kullanıma sundu. CoreWeave, müşterilerinin bu yazılımı CoreWeave Kubernetes Service ve NVIDIA Dynamo ile çalıştırmasına imkan tanıyor. NVIDIA, yazılımı NVIDIA Vera Rubin üzerinde kullanmaya hazırlanırken, AMD ise AMD Instinct GPU desteği sağlıyor. DigitalOcean, JetBrains, Mistral, Cohere ve Roblox gibi kuruluşlar da kendi model hizmet sistemlerinde llm-d kullanıyor. Projenin şu an 25'ten fazla kuruluştan 500'den fazla geliştiricisi bulunuyor.