Akka teste un flux de livraison d'intelligence artificielle basé sur des spécifications
20 octobre 2026 · 2 min de lecture
Également publié en Português (Brasil), Indonesia, 日本語, العربية, Italiano, Polski, Türkçe, Русский, עברית, हिन्दी, Español, Svenska, Norsk
Akka a testé un flux de travail de migration logicielle assisté par intelligence artificielle basé sur des spécifications en utilisant 65 projets open source.
L'évaluation a porté sur la structure des spécifications, le contexte, le choix des modèles et de la charge de travail, la vérification automatisée, la consommation de jetons et les performances d'exécution. La première phase de tests a duré 99,3 heures et a consommé 9,41 milliards de jetons. Akka rapporte que 57 des 65 projets de migration ont obtenu des améliorations en termes de nombre de lignes de code ou de performance.
L'expérience s'est déroulée en deux étapes. Akka a analysé les 65 projets pour générer des spécifications et a implémenté jusqu'à 10 pour cent des fonctionnalités de chaque projet. Ensuite, 10 projets ont été sélectionnés pour une implémentation complète selon leurs caractéristiques et des résultats quantifiables. Le cycle de contrôle de livraison comprenait la découverte des besoins, la définition des spécifications, la migration, les tests de référence et l'optimisation. La phase de découverte a analysé le code, les modèles, les schémas et les comportements d'exécution, tandis que Claude, associé à Akka Specify, a géré l'implémentation, les tests et la revue. Un exécuteur de tests de référence général a ensuite comparé les tests, la taille du code et la latence.
Les résultats indiquent que des spécifications structurées comprenant des déclarations, des preuves et des comportements typés améliorent la première implémentation, bien que les fichiers de contexte manquent de décisions transversales aux composants. En termes de performance des modèles, Sonnet a pris en moyenne 61 minutes par migration, contre 120 minutes pour Opus, mais Opus a consommé environ 40 pour cent de jetons en moins. L'augmentation des paramètres de charge de travail a accru la consommation sans apporter d'amélioration constante de l'efficacité.
La validation a utilisé des tests unitaires et d'intégration originaux, complétés par des examens humains sur la sérialisation, la sécurité, la gestion des erreurs, les informations personnelles identifiables, l'idempotence et les limites architecturales. Les performances ont varié selon le type de projet: les applications, les frameworks et les bibliothèques ont généralement progressé, tandis que la médiane pour les infrastructures et les outils a baissé. Akka rapporte que la performance de Dify a été multipliée par 143 333, malgré des différences de charge de travail, alors que Netflix Metaflow est devenu environ 100 fois plus lent.