Новый тест показывает, что агенты для программирования редко выполняют задачи полностью
11 ноября 2026 г. · 2 мин чтения
Исследователи из Alibaba и нескольких азиатских университетов разработали новый тест под названием Co-Design Bench для оценки агентов для программирования. В рамках этого теста агенты должны изменять существующие веб-приложения в соответствии с запросами пользователей, которые могут быть представлены в виде изображений, голосовых записей, видео или документов.
Результаты показывают, что даже лучшая из десяти протестированных моделей, GPT-6 Astra, полностью и правильно выполняет лишь 26,4 процента задач. В среднем эта модель удовлетворяет около 70 процентов требований каждой задачи, что означает, что в большинстве случаев агенты выполняют основную часть работы, но упускают как минимум одну деталь.
Авторы теста обосновали необходимость нового метода тем, что существующие тесты стали слишком простыми. В старых тестах, таких как WebCompass-edit, модели, которые могут самостоятельно запускать и исправлять свой код, достигают показателей выше 99 процентов, что делает различие между ними почти незаметным. Co-Design Bench основан на реальных запросах из сессий программирования, особенно на тех случаях, где пользователям приходилось несколько раз переформулировать свои просьбы.
В рейтинге после GPT-6 Astra следуют Claude Opus 5 и Qwen3.8-Max, в то время как Grok 4.6 занял последнее место. При выполнении крупных переработок проектов второе место заняла относительно небольшая модель Qwen3.8-27B. Эффективность всех моделей снижается, когда задача объединяет три или четыре разных типа изменений, например, макет, дизайн, управление и содержимое.
Исследование также выявило значительное влияние программной среды, в которой работает агент. Модель Qwen3.8-27B при крупных переработках показала результат от 56 до 75 процентов в зависимости от используемой среды. В связи с этим авторы рекомендуют всегда указывать модель и рабочую среду вместе, так как рейтинги, упоминающие только модель, имеют ограниченную информативность.
Оценка в Co-Design Bench проводится строго: один искусственный интеллект проверяет приложение в браузере, а второй проверяет каждое положительное решение на наличие имитаций или жестко заданных результатов. Баллы начисляются только за функции, которые действительно работают в приложении.