---
title: Benchmark baru menunjukkan agensi pemrograman jarang menyelesaikan tugas secara utuh
url: https://www.elseif.net/id/benchmark-baru-menunjukkan-agensi-pemrograman-jarang-menyelesaikan-tugas-secara-utuh
published: 2026-11-11T08:20:17+00:00
language: id
section: Agen
source: https://the-decoder.de/coding-agenten-liefern-viel-aber-selten-fertig/
organizations: Alibaba
publisher: elseif
---

# Benchmark baru menunjukkan agensi pemrograman jarang menyelesaikan tugas secara utuh

Peneliti dari Alibaba dan beberapa universitas di Asia mengembangkan Co-Design Bench, sebuah pengujian baru untuk agensi pemrograman. Hasilnya menunjukkan bahwa bahkan model terbaik hanya menyelesaikan sekitar seperempat tugas secara lengkap. Pengujian ini menggunakan permintaan perubahan nyata dari pengguna untuk menilai kinerja agensi. Model GPT-6 Astra menempati peringkat pertama di antara sepuluh model yang diuji. Model ini memenuhi sekitar 70 persen persyaratan tugas secara rata-rata. Namun, hasil yang benar secara keseluruhan hanya tercapai pada 26,4 persen tugas. Dalam kebanyakan kasus, agensi menyelesaikan sebagian besar pekerjaan tetapi meninggalkan setidaknya satu detail. Pengguna yang bekerja dengan alat semacam ini hampir selalu harus melakukan perbaikan tambahan. Para penulis menjelaskan bahwa pengujian pemrograman yang ada menjadi terlalu mudah untuk agensi. Jika model diizinkan untuk menjalankan, memeriksa, dan memperbaiki kode mereka sendiri, mereka mencapai nilai di atas 99 persen pada pengujian lama. Perbedaan antar model sulit diukur dengan cara tersebut. Co-Design Bench didasarkan pada permintaan nyata dari sesi pemrograman.

Para peneliti memilih kasus di mana pengguna sering merumuskan ulang permintaan atau harus membatalkan perubahan. Pengujian ini mencakup tugas yang sudah menjadi masalah bagi agensi dalam praktik. Tugasnya berkisar dari penyesuaian kecil, seperti memindahkan jumlah dari struk ke semua total yang bergantung, hingga restrukturisasi proyek keseluruhan. Penilaian dilakukan secara ketat. Penguji kecerdasan buatan menguji aplikasi yang selesai di peramban. Penguji kedua kemudian memeriksa setiap penilaian positif dan mencari hasil palsu atau yang tetap. Poin hanya diberikan untuk fungsi yang benar-benar dapat digunakan di aplikasi. Kinerja model menurun ketika tugas menggabungkan lebih banyak jenis perubahan. Perubahan tersebut mencakup tata letak, desain, pengoperasian, dan konten. Model di belakang GPT-6 Astra termasuk Claude Opus 5 dan Qwen3.8-Max. Grok 4.6 menempati peringkat terakhir. Qwen3.8-27B, yang relatif kecil, mencapai peringkat kedua pada restrukturisasi yang lebih besar. Para penulis tidak menyimpulkan keunggulan umum dari model ini. Pengaruh lingkungan kerja sangat besar pada hasil. Dalam pengujian tambahan, para peneliti menjalankan model yang sama di berbagai lingkungan kerja.

Qwen3.8-27B mencapai 75 persen atau hanya 56 persen tergantung lingkungannya pada restrukturisasi besar. Model mana yang lebih baik juga bergantung pada lingkungan. Peringkat yang hanya menyebutkan model memiliki kekuatan penjelasan yang terbatas. Para penulis merekomendasikan untuk selalu menyebutkan model dan lingkungan kerja bersama. Pengujian baru ini memiliki batasan. Ia menilai satu permintaan tetap; pertanyaan balik atau koreksi oleh pengguna selama pekerjaan tidak disertakan. Penguji kecerdasan buatan juga bisa salah. Penelitian sebelumnya menunjukkan bahwa tingkat adopsi kode yang dihasilkan kecerdasan buatan oleh penanggung jawab proyek sekitar 24 poin persentase di bawah hasil pengujian yang umum. Kerentanan dalam lingkungan pengujian dapat menyebabkan agensi lulus tugas tanpa benar-benar menyelesaikannya. Namun, pengaruh lingkungan kerja tidak pasti. Studi terbaru tentang agensi pemrograman menemukan sedikit keuntungan yang dapat diukur dari lingkungan kerja yang lebih rumit, meskipun lingkungan tersebut mengonsumsi hingga tiga kali lebih banyak token.