Akka протестировала процесс доставки программного обеспечения на базе спецификаций с помощью искусственного интеллекта
20 октября 2026 г. · 2 мин чтения
Также опубликовано на Português (Brasil), Indonesia, 日本語, العربية, Italiano, Polski, Türkçe, עברית, हिन्दी, Español, Français, Svenska, Norsk
Компания Akka провела тестирование рабочего процесса по переносу программного обеспечения с помощью искусственного интеллекта на базе спецификаций, используя 65 проектов с открытым исходным кодом. В ходе оценки изучались структура спецификаций, контекст, выбор моделей и объема работ, автоматизированная проверка, потребление токенов и производительность во время выполнения.
Первый этап тестирования занял 99,3 часа и потребовал 94,1 миллиарда токенов. Согласно отчету Akka, в 57 из 65 проектов по переносу было достигнуто улучшение производительности или сокращение количества строк кода.
Эксперимент состоял из двух фаз. Сначала Akka проанализировала все 65 проектов, создала спецификации и реализовала до 10 процентов функциональности для каждого из них. Затем были выбраны 10 проектов для полной реализации на основе характеристик систем и количественных результатов. Цикл управления доставкой включал этапы обнаружения требований, определения спецификаций, переноса, тестирования производительности и оптимизации. На этапе обнаружения требований анализировались код, модели, паттерны и поведение среды выполнения. Реализация, тестирование и проверка выполнялись с помощью Claude и Akka Specify, после чего общий инструмент тестирования сравнивал задержки, объем кода и тесты.
Akka установила, что структурированные спецификации, содержащие утверждения, доказательства и типизированное поведение, улучшают результаты первой реализации. При этом в контекстных файлах отсутствовала информация о решениях, затрагивающих несколько компонентов. В дальнейшем компания планирует изучать перечисление интерфейсов, импорт тестовых данных, отслеживание происхождения, дифференциальное и состязательное тестирование. Также упоминается GitHub Spec Kit, который структурирует рабочий процесс агентов кодирования вокруг спецификаций, планирования, задач, реализации и сходимости.
В ходе экспериментов модель Sonnet тратила в среднем 61 минуту на один перенос, тогда как Opus тратила 120 минут. Однако потребление токенов у Opus было примерно на 40 процентов меньше. Увеличение настроек объема работ приводило к росту затрат, но не обеспечивало постоянного повышения эффективности.
Проверка работы включала оригинальные модульные и интеграционные тесты, а также ручной аудит безопасности, обработки ошибок, персональных данных, идемпотентности, сериализации и архитектурных границ. Akka добавила защитные меры по мере выявления сбоев, отметив, что дополнительные условия выхода увеличивают стоимость переноса. Результаты производительности различались: приложения, фреймворки и библиотеки обычно показывали рост, в то время как медианная производительность инструментов и инфраструктуры снизилась. В отчете Akka указано, что производительность Dify выросла в 143333 раза, хотя рабочие нагрузки различались, а скорость работы Netflix Metaflow снизилась примерно в 100 раз.