Nowy test pokazuje, że agenci kodujący rzadko kończą zadania w pełni

Forsze z Alibaba i kilku azjatyckich uniwersytetów opracowali nowy test dla agentów kodujących, który ujawnia ograniczenia obecnych modeli sztucznej inteligencji. Wyniki wskazują, że nawet najlepsze z dziesięciu sprawdzonych modeli wykonuje w pełni poprawnie jedynie około jednej czwartej zadań. Test nazywa się Co-Design Bench i opiera się na rzeczywistych prośbach użytkowników o modyfikacje istniejących aplikacji internetowych. Agenci muszą radzić sobie z różnymi typami danych, w tym obrazami, nagraniami audio, wideo oraz dokumentami. Najlepiej w tym zestawieniu wypadł model GPT-6 Astra, który spełnia średnio około 70 procent wymagań poszczególnych zadań. Jednak tylko w 26,4 procenta przypadków wynik był w pełni poprawny. W większości sytuacji agent wykonuje większość pracy, ale pomija co najmniej jeden szczegół, co oznacza, że użytkownicy muszą niemal zawsze dokonywać dodatkowych poprawek. Autorzy testu wskazują, że starsze benchmarki są już zbyt łatwe dla agentów. Gdy modele mogą samodzielnie uruchamiać, sprawdzać i poprawiać swój kod, osiągają w tych starszych testach wyniki powyżej 99 procent, co uniemożliwia wyraźne rozróżnienie ich możliwości. Dlatego nowy test wykorzystuje przypadki, w których użytkownicy wielokrotnie reformułowali swoje prośby lub musieli cofać zmiany.

Zadania obejmują zarówno drobne dostosowania, jak przenoszenie kwot z paragonu do wszystkich zależnych sum, jak i większe przebudowy projektów. Ocena jest surowa, ponieważ jeden system sztucznej inteligencji testuje gotową aplikację w przeglądarce, a drugi sprawdza każde pozytywne orzeczenie pod kątem błędów lub z góry wpisanych wyników. Punkty przyznaje się wyłącznie za funkcje, które można faktycznie obsłużyć w aplikacji. Za GPT-6 Astra plasują się modele Claude Opus 5 oraz Qwen3.8-Max, a na ostatnim miejscu znajduje się Grok 4.6. W przypadku większych przebudów model Qwen3.8-27B zajmuje drugie miejsce, choć autorzy nie wyciągają z tego wniosku o ogólnej przewadze tego modelu. Wydajność wszystkich modeli spada, gdy zadanie łączy wiele rodzajów zmian, takich jak układ, design, obsługa i treść. Dodatkowy nakład obliczeniowy nie poprawia tej słabości, ponieważ model GLM-5.2 zużywa niemal sześciokrotnie więcej tokenów niż GPT-6 Astra przy mniejszych zmianach, a mimo to osiąga znacznie gorsze wyniki. Testy dodatkowe wykazały, że środowisko wykonawcze, czyli oprogramowanie, przez które agent czyta, pisze i uruchamia kod, silnie wpływa na wyniki. Model Qwen3.8-27B osiągał w zależności od środowiska 75 lub tylko 56 procent w większych przebudowach.