Bilgi Üstün Webinarında Üretimdeki Sessiz Arızalar, Altyapı Mühendisliği ve Agen Yönetimi Vurgulanıyor
19 Ekim 2026 · 3 dk okuma
Ayrıca şu dilde de yayımlandı Polski
Son InfoQ webinarında "AI in Production: What Breaks, What Works, and Who Approves It?" başlıklı toplantıda, ajent sistemlerinin üretimde dağıtımıyla ilgili gerçekçi operasyonel zorluklar eleştirildi. Toplantı Hien Luu tarafından moderatörlüğe alındı ve ThoughtWorks'ten Zichuan Xiong ve Prem Chandrasekaran, gizlilik uzmanı Katharine Jarmul ve finansal AI pratiği Lan Chu katıldı.
Luu, oturumu üç temel sürücüyle açtı: AI, geleneksiz yazılımdan farklı olarak çökme yerine ikna edici hatalar üretir; kod ajentleri insanların incelemesini aşan miktarda üretim kodu üretiyor; ve hassas veri, promptlar, bağlam pencereleri ve alınan belgeler yoluyla yeni yerlere sızıyor.
Xiong, LLM borularında yaygın olarak yaşanan "anlamsal kayma" sorununu vurguladı. Metin-İSQL çevirme ajentlerinin, "üyeler" kavramını satış ve müşteri destek alanları arasında aynı şekilde ele aldığı, satış analitiğindeki alt alta gizli hataları standart izlemenin geçmesine yol açtuğunu belirtti.
Benzer şekilde, Chu, finansal uyumluluk sistemlerinde "gömme kayması" kritik bir arıza olarak anlattı. Yasaklı yatırım tavsiyesi vektör benzerliği eşiklerine dayalı bir ajent dağıtıldıktan sonra, alt yapı embedding modelinin bildirimsiz bir arka plan güncellemesi vektör mesafe dağılımını değiştirdi. Bu, altyapı sağlık kontrollerinin tamamen yeşil kalmasına rağmen canlı trafikte ciddi yanlış pozitif ve yanlış negatif artışlarına yol açtı.
Ayrıca, Chandrasekaran, RAG borularının hassas belgeleri yanlışlıkla alabileceğini ve Jarmul ise modellerin doğal olarak eğitim verilerini hatırladığını ve bunların bilgileri de-anonimleştirmek ya da API anahtarlarını ortaya çıkarmak için kullanılabileceğini hatırlattı. Chandrasekaran, sıradan komutlar sırasında yetkisiz kod çalıştırmasına izin veren kötü niyetli depo yapılandırmalarını gösteren GitSpawn açığını da referans gösterdi.
Artık kod ajentleri üretim kodunda sonsuz miktarda kod üretiyor olduğu için, geleneksel insan kod incelemesi sürekliliği sürdürülemez haline geldi. ThoughtWorks'tan Chandrasekaran, mühendislik ve iş hizmetleri başkanı, satır satır manuel kod incelemesi, yüksek hızlı ajent çıktılarıyla ölçeklenemeyeceğini vurguladı. Bunun yerine, mühendislik ekolleri CI/CD borularında otomatik stil ve sözdizimi kontrollerini benimsemeli ve insan gözden geçirimi sadece yüksek seviye mimari, iş amacı ve işlevsiz gereklilikler için ayrılmalı.
Xiong, ekosistemin pull request'lar oluşturulmadan önce harf düzeyinde niyet değerlendirmesinin "shift left" olarak adlandırılan bir stratejiyle yapılması gerektiğini ekledi. Chandrasekaran da, otomatik test yığınılarının aslındaki mantığı gerçekten değerlendirip sadece üst düzey kod kapsam metriklerini karşılamasını doğrulamak için mutation testing'in yeniden ortaya çıktığını, bu da esastır.
Ajen sistemleri değerlendirilirken, Chu, evals'in statik ön-release kontrol listeleri yerine kalıcı, canlı altyapı olarak ele alınması gerektiğini vurguladı. Etkili değerlendirme, span seviyesinde sürekli online izleme, log filtrelemesi ve hataları LLM'lerle kategorize etmeyi gerektirir, bu da ekiblerin üretim kenar durumlarını offline benchmark yığıtlarına beslemelerini sağlar.
Gizlilik ve güvenlik risklerine karşı, Jarmul, sistem savunması için prompt mühendisliğine güvenmekten kaçınmanı önerdi. Kapsamlı red teaming, sürekli tehdit modeli, özelleştirilmiş fonksiyonel kapsamlar ve ölçeklenebilir izlenebilirlik önerdi. Bağımsız ajent eylemlerinin patlama alanını sınırlamak için, Chandrasekaran her AI ajentini yeni bir mühendis olarak ele almanı önerdi.
Örgütler, ajentlere benzersiz olmayan kimlikler tanımalı, okuma erişimi reversible yazma eylemlerinden ayıran katmanlı erişim kontrolü uygulayalmalı, üçüncü taraf Model Context Protocol (MPC) bağımlılıklarını sürümleyebilmeli ve API sırlarını ajent çalışma ortamının dışındaki sandıklar içinde kesin olarak izole etmelidir. Son olarak, güvenlik korumalarını doğrulayan mühendislik, güvenlik ve gizlilik ekibi olsa da, dağıtım onayı hâlâ stratejik bir iş kararısı kalır.
Bağımsız ajent eylemlerinin patlama alanını sınırlamak için, Chandrasekaran her AI ajentini yeni bir mühendis olarak ele almanı önerdi. Örgütler, ajentlere benzersiz olmayan kimlikler tanımalı, okuma erişimi reversible yazma eylemlerinden ayıran katmanlı erişim kontrolü uygulayalmalı, üçüncü taraf Model Context Protocol (MCP) bağımlılıklarını sürümleyebilmeli ve API sırlarını ajent çalışma ortamının dışındaki sandıklar içinde kesin olarak izole etmelidir. Son olarak, güvenlik korumalarını doğrulayan mühendislik, güvenlik ve gizlilik ekibi olsa da, dağıtım onayı hâlâ stratejik bir iş kararısı kalır.