Akka har testet AI-drevet programvareportering i 65 åpen kildekode-prosjekter
20. oktober 2026 · 2 min lesing
Også publisert på Português (Brasil), Indonesia, 日本語, العربية, Italiano, Polski, Türkçe, Русский, עברית, हिन्दी, Español, Français, Svenska
Akka har gjennomført tester av en arbeidsflyt for AI-assistert programvareportering basert på spesifikasjoner ved bruk av 65 åpen kildekode-prosjekter. Testene evaluerte faktorer som struktur på spesifikasjoner, kontekst, valg av modeller og arbeidsmengde, automatisert verifisering, forbruk av tokens og ytelse under kjøring.
I løpet av den første testrunden ble det brukt 99,3 timer og 9,41 milliarder tokens. Akka rapporterer at 57 av de 65 prosjektene oppnådde forbedringer når det gjelder enten antall kodelinjer eller ytelse.
Eksperimentet ble delt inn i to faser. Først ble alle 65 prosjektene analysert for å generere spesifikasjoner, og opptil 10 prosent av funksjonaliteten i hvert prosjekt ble implementert. Deretter ble 10 prosjekter valgt ut for fullstendig implementering basert på systemegenskaper og målbare resultater. Arbeidsflyten for leveringskontroll besto av faser for behovsidentifisering, definisjon av spesifikasjoner, portering, benchmarking og optimalisering. Behovsidentifiseringen analyserte kode, modeller, mønstre og kjøretidsatferd, mens Claude sammen med Akka Specify håndterte implementering, testing og gjennomgang. En generell benchmark-kjører ble brukt til å sammenligne tester, kodestørrelse og forsinkelse.
Akka fant at strukturerte spesifikasjoner med erklæringer, bevis og typet atferd forbedret den første implementeringen, mens kontekstfilene manglet informasjon om beslutninger på tvers av komponenter. I sammenligningen av modeller brukte Sonnet i gjennomsnitt 61 minutter per portering, mens Opus brukte 120 minutter. Opus hadde imidlertid et token-forbruk som var omtrent 40 prosent lavere. Det ble observert at økt arbeidsmengde økte forbruket uten å gi vedvarende effektivitetsgevinster.
Verifiseringen ble utført med originale enhets- og integrasjonstester, samt manuelle kontroller av serialisering, sikkerhet, feilhåndtering, personopplysninger, idempotens og arkitektoniske grenser. Akka la til beskyttelsestiltak etter hvert som feil ble avdekket, men bemerket at ekstra avslutningsbetingelser økte kostnadene ved porteringen.
Ytelsesresultatene varierte mellom prosjektene. Applikasjoner, rammeverk og biblioteker viste generelt forbedringer, mens medianytelsen for infrastruktur og verktøy sank. Akka rapporterer at ytelsen til Dify økte med 143 333 ganger, selv om arbeidsbelastningene som ble sammenlignet var forskjellige, mens Netflix Metaflow kjørte omtrent 100 ganger saktere.