Yapay zekâ tabanlı metin okuyucu modeli, regresyon testlerinde dört ağır düzenlenmiş metinden üçünü hatalı şekilde onayladı
17 Ekim 2026 · 3 dk okuma
Bir yapay zekâ aracının metin yazma ve doğrulama süreçlerinde kullanılan istemlerini düzenleyen bir operatör, yapılan değişikliklerin önceki işlevselliği bozup bozmadığını anlamak amacıyla bilinen sonuçlara sahip bir örneklem kümesi oluşturdu ve bu küme üzerinde yapay zekâ modelini okuyucu rolünde çalıştırarak bir regresyon testi gerçekleştirdi. Test sonucunda, insan eliyle ağır şekilde yeniden yazılan metinler, model tarafından geri çevrilmek yerine çoğunlukla hatalı bir şekilde onaylandı. Bu durum, istem güncellemelerinin kabul edilmesi halinde hatalı içeriklerin sonraki aşamalara sızmasına ve test sisteminin yanlışlıkla başarılı durumu bildirmesine neden olabileceğini gösterdi.
Test kümesi, iki farklı kategoriye ayrılmış metinlerden oluştu. Birinci kategori, operatör tarafından insan müdahalesiyle büyük ölçüde yeniden yazılan metinleri içerirken, ikinci kategori neredeyse hiç dokunulmamış orijinal metinleri barındırdı. Referans ölçüt olarak, yayımlanan nihai sürüm ile yapay zekâ aracının ürettiği çıktı arasındaki benzerlik oranı esas alındı. İki cümle listesi arasındaki eşleşme payını hesaplamak için bir yazılım kütüphanesinden yararlanıldı. İnsan müdahalesinin yoğun olduğu ve yüzde seksen beşin altında eşleşme oranına sahip metinler kötü örnek olarak tanımlanırken, yüzde doksan beş ve üzeri eşleşme sağlayanlar iyi örnek olarak kabul edildi. Bu iki sınır arasında kalan belirsiz sonuçlar ise test kümesine dahil edilmedi.
Değerlendirme sürecinde iki temel hata türü ayrı ayrı izlendi. Birincisi, kötü bir örneğin testten geçmesi olarak tanımlanan kaçırılan hata durumuydu. İkincisi ise iyi bir örneğin sistem tarafından hatalı şekilde durdurulması anlamına gelen yanlış alarmdı. Operatör, bu iki hatayı tek bir genel uyum oranında birleştirmekten kaçındı çünkü tüm metinleri koşulsuz onaylayan bir değerlendirici, iyi metinlerin oranı yüksek olduğunda insanla yüksek oranda örtüşüyormuş gibi görünebilir ancak hiçbir hatayı tespit edemez. Bu nedenle, bir istem değişikliği ancak her iki hata sayacında da artış gözlenmediği takdirde kabul edildi.
Yirmi adet önceden etiketlenmiş materyal üzerinde yapılan karşılaştırmada, otomatik özetleme aracı yirmi metinden on beşini uyumlu olarak işaretledi ancak bunlardan beşi belirsizlik sınırları içinde yer alıyordu. Net olarak etiketlenmiş metinler arasında model, operatörle sadece on vakada aynı sonuca vardı. Model, dört adet ağır düzenlenmiş metinden sadece birini geri çevirebildi ve üçünü hatalı şekilde geçirdi. Neredeyse dokunulmamış on bir metinden ise ikisini gereksiz yere geri çevirdi. Ayrıca, değerlendirme anketinin metnin nasıl yazıldığına odaklanıp içeriğin amacını sorgulamaması nedeniyle ortaya çıkan bir başka kaçırılan hata daha tespit edildi. Bu açık, anket sorularına metin bölümlerinin oranlarını hesaplama zorunluluğu eklenerek giderildi.
Operatör, okuyucu rolündeki yapay zekâ modelini değiştirmeyi düşündüğünde benzer bir test uyguladı. Mevcut sistemden farklı bir modele geçiş yapılmadan önce, aynı roller ve istemler kullanılarak on iki metin sürümü üzerinde karşılaştırma yapıldı. Yeni modelin puanları, eski modelinkilerle yüzde seksen dokuz oranında bire bir puan farkı içinde örtüştü ancak ortalama puanlar daha düşük çıktı. Karar mekanizması açısından bakıldığında, on iki sürümden sadece yedisinde geri çevirme veya onaylama kararları eşleşti. Tüm uyuşmazlıklar tek yönlüydü: eski modelin onayladığı beş sürümü yeni model geri çevirecekti. Daha katı davranan yeni modelin iyi sürümleri de hatalı şekilde reddetme riski taşıması ve bu durumun ekonomik bir tasarruf sağlamaması nedeniyle operatör mevcut modeli kullanmaya devam etme kararı aldı.
Test sisteminin kendisi de zaman zaman kararsızlık gösterebilmektedir. Başlık anlaşılırlığını ölçen bir test rutini, tek bir gece içinde yedi makaleden dördünü durdurdu. Okuyucu modelinin her başlık varyasyonu için farklı detaylar talep etmesi nedeniyle test sonuçları tutarlılık göstermedi. Bu sorun, sistemdeki bir sabit değer değiştirilerek çözüldü ancak eski sonuçların reddedilmesi, boş yanıtlar ve hatalı veri formatları gibi temel kontroller yürürlükte kaldı. Test betiği, her versiyonu tek seferde çalıştırsa da yapay zekâ modellerinin doğası gereği deterministik olmaması nedeniyle aynı metnin farklı çalıştırmalarda farklı sonuçlar verebileceği belirtildi. Dört kötü örnek içeren küçük bir kümede tek bir sapma, başarı oranını yirmi beş puanlık bir dilim kadar değiştirebilmektedir. Bu nedenle test kümesi, her bulunan hataya karşılık gelen yeni kötü örnekler ve bunların yanında iyi örnekler eklenerek sürekli güncellenmektedir.