Akka uji alur kerja pemindahan perangkat lunak berbasis spesifikasi dengan kecerdasan buatan
20 Oktober 2026 · Baca 2 menit
Juga diterbitkan dalam Português (Brasil), 日本語, العربية
Perusahaan perangkat lunak Akka telah menyelesaikan pengujian terhadap alur kerja pemindahan perangkat lunak yang dibantu kecerdasan buatan dan berbasis spesifikasi. Pengujian ini dilakukan pada 65 proyek sumber terbuka untuk mengevaluasi struktur spesifikasi, pemilihan model, konsumsi token, dan kinerja waktu berjalan.
Eksperimen ini terbagi menjadi dua tahap utama. Pada tahap pertama, tim Akka menganalisis seluruh 65 proyek, menghasilkan spesifikasi, dan mengimplementasikan hingga 10 persen fitur dari setiap proyek. Pada tahap kedua, 10 proyek dipilih berdasarkan karakteristik sistem dan hasil yang dapat diukur untuk diimplementasikan secara penuh. Alur kerja pengendalian pengiriman mencakup siklus penemuan kebutuhan, definisi spesifikasi, pemindahan, pengujian acuan, dan optimasi. Penemuan kebutuhan melibatkan analisis kode, model, pola, dan perilaku waktu berjalan, sementara model Claude bekerja sama dengan alat Akka Specify untuk menangani implementasi, pengujian, dan peninjauan. Perbandingan pengujian, ukuran kode, dan latensi dilakukan melalui pelaksana pengujian acuan yang seragam.
Hasil pengujian menunjukkan bahwa 57 dari 65 proyek pemindahan mengalami peningkatan dalam hal jumlah baris kode atau kinerja. Akka menemukan bahwa spesifikasi terstruktur yang berisi pernyataan, bukti, dan perilaku bertipe dapat meningkatkan hasil implementasi pertama, meskipun file konteks masih kekurangan konten keputusan lintas komponen. Rata-rata waktu yang dibutuhkan model Sonnet untuk setiap pemindahan adalah 61 menit, sedangkan model Opus membutuhkan 120 menit. Namun, konsumsi token model Opus lebih rendah sekitar 40 persen. Peningkatan pengaturan beban kerja meningkatkan konsumsi, tetapi tidak menghasilkan peningkatan efisiensi yang berkelanjutan.
Pengujian verifikasi menggunakan pengujian unit dan integrasi asli, serta pemeriksaan oleh peninjau terhadap serialisasi, keamanan, penanganan kesalahan, informasi pribadi, idempotensi, dan batas arsitektur. Kinerja waktu berjalan bervariasi antar proyek; kinerja aplikasi, kerangka kerja, dan pustaka umumnya meningkat, sedangkan kinerja median infrastruktur dan alat mengalami penurunan. Laporan Akka mencatat peningkatan kinerja 143333 kali lipat pada proyek Dify, meskipun beban kerja yang dibandingkan berbeda, sementara proyek Netflix Metaflow berjalan sekitar 100 kali lebih lambat. Pengujian pertama secara keseluruhan memakan waktu 99,3 jam dan mengonsumsi 94,1 miliar token.
Penerbitan hasil penelitian ini memicu diskusi di kalangan insinyur. Komentar di media sosial menyoroti bahwa model berukuran kecil cenderung mematuhi spesifikasi secara ketat, sedangkan model berukuran besar mungkin melakukan penyesuaian spontan. Para pengamat juga mempertanyakan apakah pengurangan baris kode disebabkan oleh penghapusan kode mati atau perbedaan bahasa tujuan, serta apakah perbedaan efisiensi pemindahan berasal dari kemampuan model, batasan spesifikasi, atau keduanya.