Eksperimen Menunjukkan Kendala Isolasi, Memori, dan Pemulihan pada Agen Pengodean Otonom
21 Oktober 2026 · Baca 3 menit
Sebuah serangkaian eksperimen teknis mengungkapkan hambatan signifikan dalam upaya menyerahkan seluruh proyek pengembangan perangkat lunak kepada sistem kecerdasan buatan yang beroperasi secara mandiri. Peneliti menemukan bahwa arsitektur keamanan saat ini belum mampu memberikan jaminan isolasi data yang sempurna, penghentian proses yang mutlak, serta batasan sumber daya fisik yang dapat diprediksi ketika menjalankan agen pengodean seperti Codex CLI dan Claude Code. Temuan ini muncul dari pengujian mendalam terhadap kemampuan sistem untuk bekerja tanpa pengawasan manusia secara terus-menerus, di mana sistem diharapkan dapat memahami ide produk, menyusun persyaratan, dan menghasilkan versi yang berfungsi secara bertahap.
Masalah pertama yang teridentifikasi berkaitan dengan insufisiensi pembatasan akses berkas dalam melindungi data sensitif. Pada pengujian awal di lingkungan macOS, mekanisme App Sandbox berhasil mencegah proses pengembangan membaca berkas tertutup secara langsung. Namun, celah keamanan muncul ketika akses jaringan diizinkan, yang memungkinkan proses yang sama mengambil data tersebut melalui antarmuka HTTP dari produk yang sedang berjalan. Situasi ini menunjukkan bahwa melarang satu metode akses data tidak cukup jika saluran alternatif seperti jaringan tetap terbuka. Selain itu, ditemukan kegagalan dalam mekanisme penghentian proses, di mana proses anak dapat memisahkan diri dari grup induknya menggunakan perintah sistem khusus dan terus beroperasi meskipun grup induk telah dihentikan. Hal ini menyebabkan koordinator sistem salah mengira tugas telah selesai dan memulai tugas berikutnya sementara beban kerja sebelumnya masih berjalan di latar belakang.
Sebagai respons terhadap kelemahan tersebut, peneliti beralih menggunakan mesin virtual Linux terpisah yang berjalan di atas komputer Mac untuk meningkatkan isolasi. Arsitektur baru ini melibatkan tiga mesin virtual berbeda: satu untuk eksekusi tugas agen, satu untuk produk yang dikembangkan, dan satu lagi untuk verifikasi tepercaya. Dalam skenario ini, beban kerja yang tidak tepercaya tidak memiliki akses jaringan langsung atau berbagi direktori dengan komputer induk. Semua operasi yang diizinkan harus melewati perantara yang memverifikasi jenis, konteks, dan otorisasi permintaan. Meskipun pendekatan ini berhasil memblokir akses langsung ke berkas uji dan jalur jaringan yang tidak sah, masalah baru muncul terkait interaksi pengguna akhir. Ketika server aplikasi berjalan di dalam mesin virtual yang terisolasi namun pengguna mengaksesnya melalui peramban di komputer induk, kode JavaScript yang dihasilkan tetap dieksekusi di lingkungan induk. Fakta ini membuktikan bahwa mengisolasi server saja tidak serta-merta membuat seluruh produk menjadi terisolasi secara keamanan.
Tantangan ketiga menyangkut ketidaksesuaian antara alokasi memori virtual dan konsumsi memori fisik sebenarnya. Eksperimen menunjukkan bahwa mengalokasikan dua gigabita memori untuk sistem tamu di dalam mesin virtual tidak menjamin bahwa total beban kerja terkait di komputer induk hanya akan menggunakan jumlah yang sama. Terdapat overhead memori dari proses virtualisasi itu sendiri, komponen pendukung, dan biaya tambahan lainnya yang sulit dialokasikan secara pasti ke satu proses tunggal. Pengujian lebih lanjut menggunakan emulator QEMU dengan kerangka kerja virtualisasi berbasis perangkat keras menunjukkan bahwa meskipun sebagian besar pemeriksaan individu lulus, jaminan gabungan untuk keamanan komputer induk tidak dapat dibuktikan sepenuhnya. Pembatasan ruang alamat virtual tidak serta-merta membatasi memori fisik, dan pembatasan waktu prosesor kumulatif tidak menjamin perilaku mulai dan berhenti yang tepat.
Kesimpulan dari investigasi ini mengarah pada kebutuhan untuk memisahkan persyaratan teknis menjadi dua pendekatan distinct. Pertama, parameter lingkungan tamu harus dibatasi secara teknis dan diverifikasi secara terpisah. Kedua, sistem harus secara aktif memantau status komputer induk dan menghentikan beban kerjanya sendiri dalam waktu yang ditentukan jika terdeteksi kondisi berbahaya. Peneliti menyatakan bahwa menetapkan batas absolut yang kaku untuk konsumsi gabungan memori dan prosesor pada seluruh sistem komputer saat ini belum dapat dijamin. Temuan ini menyoroti kompleksitas dalam membangun kerangka kerja agen yang aman, di mana batas kepercayaan harus didefinisikan melalui aliran data dan tindakan yang dilakukan, bukan sekadar melalui isolasi proses tunggal.