Akka testa fluxo de entrega de software assistido por inteligência artificial em projetos de código aberto
19 de outubro de 2026 · 2 min de leitura
A Akka testou um fluxo de trabalho de portabilidade de software assistido por inteligência artificial baseado em especificações utilizando 65 projetos de código aberto.
Os testes avaliaram a estrutura das especificações, o contexto, a escolha de modelos e de carga de trabalho, a verificação automatizada, o consumo de tokens e o desempenho em tempo de execução. A primeira rodada de testes durou 99,3 horas e consumiu 9,41 bilhões de tokens. De acordo com a Akka, 57 dos 65 projetos de portabilidade alcançaram melhorias em termos de desempenho ou número de linhas de código.
O experimento ocorreu em duas etapas. A Akka analisou todos os 65 projetos, gerou especificações e implementou até 10% das funcionalidades de cada um. Posteriormente, 10 projetos foram selecionados para implementação completa com base em resultados quantificáveis e características do sistema. O ciclo de controle de entrega passou por fases de descoberta de requisitos, definição de especificações, portabilidade, testes de referência e otimização.
Na fase de descoberta, foram analisados o código, modelos, padrões e comportamentos de tempo de execução. O Claude, em conjunto com o Akka Specify, foi responsável pela implementação, testes e revisões. Um executor de testes de referência geral comparou a latência, o tamanho do código e os testes.
A Akka observou que especificações estruturadas com evidências, declarações e comportamentos tipados melhoraram a implementação inicial, embora faltassem decisões entre componentes nos arquivos de contexto. Em relação aos modelos, o Sonnet levou em média 61 minutos por portabilidade, enquanto o Opus levou 120 minutos, mas o Opus consumiu cerca de 40% menos tokens. Aumentar a configuração de carga de trabalho elevou o consumo sem proporcionar ganhos constantes de eficiência.
A verificação utilizou testes de integração e testes unitários originais, além de revisões humanas sobre segurança, serialização, tratamento de erros, informações de identificação pessoal, idempotência e limites de arquitetura. A Akka adicionou salvaguardas conforme falhas de portabilidade surgiram, notando que condições de saída adicionais elevaram os custos.
O desempenho variou conforme o tipo de projeto. Aplicativos, bibliotecas e frameworks geralmente apresentaram melhorias, enquanto a mediana de desempenho para ferramentas e infraestrutura caiu. A Akka relatou que o Dify teve um aumento de desempenho de 143333 vezes, embora as cargas de trabalho comparadas fossem diferentes, e o Netflix Metaflow ficou cerca de 100 vezes mais lento.