Akka testade specifikationsbaserad AI-leverans i 65 öppna källkodsprojekt
20 oktober 2026 · 2 min läsning
Även publicerad på Português (Brasil), Indonesia, 日本語, العربية, Italiano, Polski, Türkçe, Русский, עברית, हिन्दी, Español, Français, Norsk
Akka har testat ett arbetsflöde för AI-assisterad programvarumigrering baserat på specifikationer genom att använda 65 projekt med öppen källkod. Utvärderingen omfattade faktorer som specifikationernas struktur, kontext, val av modeller och arbetsmängd, automatiserad validering, förbrukning av tokens samt prestanda vid körning.
Enligt rapporter från Akka uppnådde 57 av de 65 migreringsprojekten förbättringar antingen i form av minskat antal kodrader eller ökad prestanda. Den första testomgången tog 99,3 timmar och förbrukade 9,41 miljarder tokens.
Experimentet genomfördes i två faser. Först analyserades samtliga 65 projekt för att generera specifikationer och implementera upp till 10 procent av funktionaliteten i varje projekt. Därefter valdes 10 projekt ut för fullständig implementering baserat på systemegenskaper och mätbara resultat. Arbetsflödet för leveranskontroll bestod av faser för behovsanalys, specifikationsdefinition, migrering, referenstester och optimering. Behovsanalysen granskade kod, modeller, mönster och beteende vid körning, medan Claude tillsammans med Akka Specify skötte implementering, testning och granskning. En generell testkörnare användes för att jämföra tester, kodstorlek och fördröjning.
Akka konstaterade att strukturerade specifikationer med deklarationer, bevis och typade beteenden förbättrade det första resultatet, medan kontextfiler saknade information om beslut som sträckte sig över flera komponenter. I jämförelse tog Sonnet i genomsnitt 61 minuter per migrering, medan Opus tog 120 minuter. Opus förbrukade dock ungefär 40 procent färre tokens. Det noterades att en ökad arbetsmängd ökade förbrukningen utan att ge en ihållande effektivitetsökning.
Valideringen utfördes med ursprungliga enhetstester och integrationstester, samt granskningar av serialisering, säkerhet, felhantering, personuppgifter, idempotens och arkitektoniska gränser. Akka införde skyddsåtgärder när problem uppstod, men konstaterade att extra avslutningsvillkor ökade migreringskostnaderna. Prestandan varierade: applikationer, ramverk och bibliotek förbättrades generellt, medan medianprestandan för infrastruktur och verktyg sjönk. Dify uppvisade en prestandaökning på 143 333 gånger, men arbetsbelastningarna som jämfördes skilde sig åt, medan Netflix Metaflow blev ungefär 100 gånger långsammare.