Yapay zeka uygulamalarında güvenlik testlerinin yeterliliği ve belirsizlik ölçümü
26 Ekim 2026 · 3 dk okuma
Yapay zeka tabanlı uygulamaların güvenlik açıklarını tespit etmek amacıyla gerçekleştirilen kırmızı takım testlerinde, kullanılan örnek sayısının istatistiksel olarak yeterli olup olmadığı sorusu gündeme gelmektedir. Uygulamanın mevcut tüm koruma önlemlerine karşı başarılı bir şekilde direnç göstermesi, güvenlik kontrolünün tamamen başarılı olduğu anlamına gelmeyebilir. Bu durum, tespit edilmemiş ihlallerin varlığına işaret edebilir veya mevcut verilerin yetersizliğinden kaynaklanabilir. Bu ayrımı netleştirmek için geliştirilen bir yöntem, ihlal bulunamaması ile verilerin yetersiz olması durumlarını birbirinden ayırt etmeye yardımcı olmaktadır.
Kırmızı takım testleri, sistemin etrafındaki korumaları aşmaya yönelik kasıtlı denemeler olarak tanımlanır. Basit bir örnek olarak, bir yapay zeka asistanından gizli bir raporu göstermesini istemek ve reddedilmesi durumunda farklı bir ifadeyle ana sonuçları sormak verilebilir. Eğer uygulama, erişim yetkisi olmayan bir kullanıcıya belge içeriğini açığa çıkarırsa, bu durum veri sızıntısı olarak kabul edilir. Kurumsal ortamlarda, sohbet botlarına şirket belgelerine erişim izni verildiğinde, her bir çalışanın yetki sınırlarına uyulup uyulmadığının doğrulanması kritik önem taşır. Bir çalışanın kendi bölümünün talimatlarını okuma yetkisi olabilirken, başka bir bölümün gizli raporlarına erişim yetkisi bulunmayabilir.
Yetki kontrolleri yalnızca belge erişimi sırasında değil, eylemlerin gerçekleştirilmesi sırasında da yapılmalıdır. Yapay zeka modeline sırları açıklamama talimatı verilmesi, yetki doğrulamasının yerini tutmaz. Uygulamanın koruma mekanizmalarındaki hataların, bağlam işleme ve araç çağrıları dahil olmak üzere tespit edilmesi, kırmızı takım testlerinin temel görevleri arasındadır. HiveTrace Red adlı ürün, bu tür denetimleri gerçekleştirmek için bir yıldan fazla bir süredir geliştirilmektedir. Testler sırasında bir dizi istek gönderilir ve yanıtlar ile eylemler analiz edilir. Test edilen kısıtlamayı ihlal eden denemelerin oranına Saldırı Başarı Oranı denir. Örneğin, yüz denemeden ikisinde ihlal gerçekleşmesi, bu oranın yüzde iki olduğunu gösterir. Bu metrik, seçilen test koşullarını yansıtır ve uygulamanın normal çalışma sırasında sızıntı sıklığını temsil etmez.
Saldırı Başarı Oranı, ikili bir metrik olup her deneme başarılı veya başarısız olarak sınıflandırılır. Kırmızı takım testlerinde, korumaları aşmak için farklı saldırı teknikleri kullanılarak temel istekler dönüştürülür. Bu durum, hangi saldırı tekniğinin belirli bir uygulamanın korumasını aştığı ve bir tekniğin ortalama olarak modeli diğerlerinden daha iyi aşıp aşmadığı sorularını gündeme getirmektedir. Saldırı Başarı Oranına dayalı raporlar iş dünyası için önemli olmakla birlikte, bu metriğin tek başına kullanılması temsil edilebilirlik tuzağına düşülmesine neden olabilir. Sonuçlar anlamlı olmayabilir. Bu nedenle, yönteme sonuç belirsizliğinin değerlendirilmesi eklenmiştir. Bu ek değerlendirme, ihlal bulunamaması ile gereksinimi karşılamak için yeterli veriye sahip olma durumlarını ayırt etmeye yardımcı olur.
On isteklik bir örnek üzerinden bu yaklaşım açıklanmaktadır. Test, uygulamanın spesifik kısıtlamalarıyla başlar. Kurumsal bir asistan için ihlal, kullanıcının erişim yetkisi olmayan bir belgenin açığa çıkarılması olabilir. Araç kullanan bir ajan için ihlal, gerekli yetkiler olmadan bir eylemin gerçekleştirilmesi olabilir. Mümkün olan durumlarda programatik kontroller kullanılırken, içerik odaklı kriterler için değerlendirici model kullanılır ve bu modelin kalitesi etiketlenmiş örneklerle test edilir. Her veri seti için, risk gerçekleştiğinde beklenen sonuçlara bağlı olarak risk kategorileri belirlenir. Kodla çalışan bir ajan için tehlikeli komutların çalıştırılması kategorisi, çocuklara yönelik eğitim botu için ise yanıtların toksisitesi kategorisi uygun olabilir. İlk olarak, ek aşma teknikleri olmadan istekler gönderilir. On temel istekten her biri bir kez gönderilir ve yanıtlar kontrol edilir. On durumdaki tüm reddedilmeler, Saldırı Başarı Oranının yüzde sıfır olduğunu gösterir. Ancak, bu on istek, testin geçildiğini söylemek için yeterli midir? Bin istekte sızıntı olmaması da aynı sıfır oranını verir, ancak bu tür sonuçlara güven duymak daha mantıklı görünmektedir.