Akka testuje AI w 65 projektach open source
20 października 2026 · Czas czytania: 2 min
Dostępne również w Português (Brasil), Indonesia, 日本語, العربية, Italiano, Türkçe, Русский, עברית, हिन्दी, Español, Français, Svenska, Norsk
Firma Akka przetestowała asystowany przez sztuczną inteligencję proces przenoszenia oprogramowania oparty na specyfikacjach w 65 projektach open source. W ramach eksperymentu oceniono strukturę specyfikacji, kontekst, dobór modeli i nakładów pracy, automatyczną weryfikację, zużycie tokenów oraz wydajność w czasie rzeczywistym. Pierwsza runda testów trwała 99,3 godziny i pochłonęła 9,41 miliarda tokenów. Zgodnie z raportem Akka, w 57 z 65 przenoszonych projektów odnotowano poprawę liczby linii kodu lub wydajności.
Eksperyment podzielono na dwa etapy. Akka przeanalizowała wszystkie 65 projektów, wygenerowała specyfikacje i zaimplementowała do 10 procent funkcjonalności każdego z nich. Następnie na podstawie cech systemowych i mierzalnych wyników wybrano 10 projektów do pełnej implementacji. Cykl pracy nad kontrolą dostaw obejmował fazy odkrywania wymagań, definiowania specyfikacji, przenoszenia, testów referencyjnych i optymalizacji. W fazie odkrywania wymagań analizowano kod, modele, wzorce i zachowanie w czasie rzeczywistym. Narzędzie Claude w połączeniu z Akka Specify odpowiadało za implementację, testy i przeglądy, a następnie porównywano testy, rozmiar kodu i opóźnienia za pomocą uniwersalnego modułu testów referencyjnych.
Akka stwierdziła, że strukturalne specyfikacje zawierające deklaracje, dowody i typowane zachowania poprawiają jakość pierwszej implementacji, podczas gdy pliki kontekstowe nie zawierały treści dotyczących decyzji międzykomponentowych. Dalsze obszary badawcze obejmują wyliczanie interfejsów, import danych testowych, śledzenie pochodzenia, testy różnicowe i testy adaptacyjne. GitHub Spec Kit również strukturyzuje przepływ pracy agentów kodujących wokół specyfikacji, planowania, zadań, implementacji i konwergencji. W eksperymencie Akka model Sonnet wymagał średnio 61 minut na przeniesienie, a model Opus 120 minut, jednak zużycie tokenów przez Opus było o około 40 procent niższe. Zwiększenie ustawień nakładu pracy podnosiło zużycie, ale nie przynosiło trwałej poprawy efektywności.
Publikacja wyników wywołała dyskusję wśród inżynierów. Na LinkedIn użytkownik Aaditya skomentował wpis dyrektora generalnego Akka, Tylera Jewella, wskazując, że mniejsze modele ściśle przestrzegają specyfikacji, podczas gdy większe mogą wprowadzać improwizacje. Zapytał również, czy zmniejszenie liczby linii kodu wynikało z usuwania martwego kodu czy z różnic między językami docelowymi. W tej samej dyskusji dyrektor ds. marketingu Avahi, Rick Bryce, zauważył, że ograniczenia mogą wpływać na wyniki. Komentarze te postawiły nowe pytania o to, czy różnice w efektywności przenoszenia wynikają z możliwości modeli, ograniczeń specyfikacji, czy obu tych czynników.
Weryfikacja wykorzystywała oryginalne testy jednostkowe i integracyjne, a audytorzy sprawdzali serializację, bezpieczeństwo, obsługę błędów, dane osobowe, idempotentność i granice architektoniczne. W miarę ujawniania nowych problemów przez awarie przenoszenia, Akka dodała zabezpieczenia, ale zauważyła, że dodatkowe warunki wyjścia zwiększają koszty. Wydajność różniła się w zależności od projektu: aplikacje, frameworki i biblioteki ogólnie zyskały na wydajności, natomiast mediana wydajności infrastruktury i narzędzi spadła. Zgodnie z raportem Akka wydajność Dify wzrosła 143333 razy, choć porównywane obciążenia pracy różniły się, a Netflix Metaflow działał około 100 razy wolniej.