---
title: Yeni bir test, yapay zeka kodlama ajanlarının gerçek kullanıcı isteklerini tamamlama oranının düşük olduğunu ortaya koydu
url: https://www.elseif.net/tr/yeni-bir-test-yapay-zeka-kodlama-ajanlarinin-gercek-kullanici-isteklerini-tamamlama-oraninin-dusuk-oldugunu-ortaya-koydu
published: 2026-11-11T06:08:17+00:00
language: tr
section: Harness’ler
source: https://the-decoder.de/coding-agenten-liefern-viel-aber-selten-fertig/
organizations: Alibaba, METR
publisher: elseif
---

# Yeni bir test, yapay zeka kodlama ajanlarının gerçek kullanıcı isteklerini tamamlama oranının düşük olduğunu ortaya koydu

Alibaba ve Asya'daki çeşitli üniversitelerden araştırmacılar, kodlama ajanlarını gerçek kullanıcı değişiklik talepleriyle test eden Co-Design Bench adlı yeni bir değerlendirme aracı geliştirdi. Bu testin sonuçları, daha önceki testlerdeki neredeyse mükemmel değerleri göreceli hale getiriyor. Test edilen on model arasında en iyi sonucu alan GPT-6 Astra, bir görevin gereksinimlerinin ortalama yüzde 70'ini karşılarken, sonuçların yalnızca yüzde 26,4'ü tamamen doğru çıktı.

Araştırmacılar, mevcut değerlendirme araçlarının doyma noktasına ulaştığını belirtiyor. Modellerin kendi kodlarını çalıştırıp kontrol etmesine ve düzeltme yapmasına izin verildiğinde, bu araçlarda yüzde 99'un üzerindeki değerlere ulaşıyor ve modeller arasındaki farklar ölçülemeyecek kadar azalıyor. Bu nedenle yeni test, gerçek kodlama oturumlarından gelen ve kullanıcıların taleplerini birden fazla kez yeniden ifade etmek veya değişiklikleri geri almak zorunda kaldığı durumları temel alıyor. Görevler, bir fişten bir tutarı tüm bağımlı toplamlara aktarmaktan tüm projelerin yeniden yapılandırılmasına kadar uzanıyor.

Değerlendirme süreci oldukça katı bir şekilde yürütülüyor. Bir yapay zeka denetçisi, tamamlanan uygulamayı tarayıcıda test ederken, ikinci bir denetçi her olumlu kararı inceleyip sahte sonuçları veya sabitlenmiş değerleri arıyor. Puan, yalnızca uygulamada fiilen kullanılabilen işlevler için veriliyor. Testte GPT-6 Astra'nın ardından Claude Opus 5 ve Qwen3.8-Max geliyor, Grok 4.6 ise son sırada yer alıyor. Daha büyük yeniden yapılandırmalarda nispeten küçük olan Qwen3.8-27B ikinci sıraya yükseliyor, ancak yazarlar bundan genel bir üstünlük çıkarımı yapmıyor.

Tüm modellerde, bir görevin yerleşim, tasarım, kullanım ve içerik gibi birden fazla değişikliği birleştirdiği durumlarda performans düşüyor. Bu tür iç içe geçmiş gereksinimler gerçek projelerde standart olmasına rağmen, modeller bu durumlarda zorlanıyor. Ek hesaplama yükü bu zayıflığı değiştirmiyor; GLM-5.2, küçük değişikliklerde GPT-6 Astra'dan neredeyse altı kat daha fazla token tüketmesine rağmen belirgin şekilde daha kötü performans gösteriyor. GPT-6 Astra her iki kategoride de lider olsa da, çok modlu görevlerin yalnızca yüzde 41'ini ve depo görevlerinin yüzde 18'inden biraz azını tamamen çözüyor.

Araştırmacılar, ajanların kodu okuyup yazdığı ve çalıştırdığı yazılım ortamlarının sonuçları güçlü şekilde etkilediğini gösteren ek bir test de gerçekleştirdi. Qwen3.8-27B, büyük yeniden yapılandırmalarda ortama göre yüzde 75 ile yüzde 56 arasında değişen sonuçlar aldı. Hangi modelin daha iyi performans gösterdiği de ortama bağlı olarak değişti. Bu nedenle yalnızca modeli belirten sıralamaların sınırlı bir geçerliliği var ve şirketlerin hem modeli hem de çalışma ortamını birlikte test etmesi öneriliyor. Testin sınırları arasında, çalışmanın ortasında kullanıcı soruları veya düzeltmelerin dışarıda bırakılması ve yapay zeka denetçilerinin de hata yapabilmesi yer alıyor. METR'in bir araştırması, yapay zeka tarafından üretilen kodun gerçek kabul oranının yaygın SWE-bench Verified sonuçlarından yaklaşık yüzde 24 puan daha düşük olduğunu göstermişti. Ayrıca test ortamlarındaki zayıflıklar, ajanların görevleri gerçekten çözmeden geçmesine neden olabilir. Ancak çalışma ortamının etkisi kesin değil; güncel bir çalışma, daha karmaşık ortamların üç katına kadar token tüketmesine rağmen ölçülebilir bir avantaj sağlamadığını buldu.