---
title: Новый тест показывает, что агенты для программирования редко выполняют задачи полностью
url: https://www.elseif.net/ru/novyi-test-pokazyvaet-cto-agenty-dlia-programmirovaniia-redko-vypolniaiut-zadaci-polnostiu
published: 2026-11-11T08:18:11+00:00
language: ru
section: Оболочки
source: https://the-decoder.de/coding-agenten-liefern-viel-aber-selten-fertig/
organizations: Alibaba
publisher: elseif
---

# Новый тест показывает, что агенты для программирования редко выполняют задачи полностью

Исследователи из Alibaba и нескольких азиатских университетов разработали новый тест под названием Co-Design Bench для оценки агентов для программирования. В рамках этого теста агенты должны изменять существующие веб-приложения в соответствии с запросами пользователей, которые могут быть представлены в виде изображений, голосовых записей, видео или документов.

Результаты показывают, что даже лучшая из десяти протестированных моделей, GPT-6 Astra, полностью и правильно выполняет лишь 26,4 процента задач. В среднем эта модель удовлетворяет около 70 процентов требований каждой задачи, что означает, что в большинстве случаев агенты выполняют основную часть работы, но упускают как минимум одну деталь.

Авторы теста обосновали необходимость нового метода тем, что существующие тесты стали слишком простыми. В старых тестах, таких как WebCompass-edit, модели, которые могут самостоятельно запускать и исправлять свой код, достигают показателей выше 99 процентов, что делает различие между ними почти незаметным. Co-Design Bench основан на реальных запросах из сессий программирования, особенно на тех случаях, где пользователям приходилось несколько раз переформулировать свои просьбы.

В рейтинге после GPT-6 Astra следуют Claude Opus 5 и Qwen3.8-Max, в то время как Grok 4.6 занял последнее место. При выполнении крупных переработок проектов второе место заняла относительно небольшая модель Qwen3.8-27B. Эффективность всех моделей снижается, когда задача объединяет три или четыре разных типа изменений, например, макет, дизайн, управление и содержимое.

Исследование также выявило значительное влияние программной среды, в которой работает агент. Модель Qwen3.8-27B при крупных переработках показала результат от 56 до 75 процентов в зависимости от используемой среды. В связи с этим авторы рекомендуют всегда указывать модель и рабочую среду вместе, так как рейтинги, упоминающие только модель, имеют ограниченную информативность.

Оценка в Co-Design Bench проводится строго: один искусственный интеллект проверяет приложение в браузере, а второй проверяет каждое положительное решение на наличие имитаций или жестко заданных результатов. Баллы начисляются только за функции, которые действительно работают в приложении.