Pengujian Model Bahasa Lokal pada Prosesor Intel Core Ultra 5 226V
31 Oktober 2026 · Baca 3 menit
Sebuah pengujian teknis dilakukan pada mini komputer Ninkear L20 yang menggunakan prosesor Intel Core Ultra 5 226V untuk menjalankan model bahasa Qwen3-8B secara lokal. Pengujian ini mengevaluasi kinerja dan konsumsi daya dari tiga komponen komputasi yang berbeda, yaitu unit pemrosesan pusat, unit pemrosesan grafis, dan unit pemrosesan neural, dengan membandingkannya terhadap kartu grafis diskrit RTX 5070 Ti. Seluruh proses berjalan tanpa koneksi internet dan tanpa biaya langganan.
Mini komputer Ninkear L20 ini dilengkapi dengan 16 gigabyte memori LPDDR5X-8533 yang terintegrasi langsung pada paket prosesor. Rentang daya operasional perangkat berada di antara 17 hingga 37 watt. Prosesor Intel Core Ultra 5 226V ini memiliki arsitektur Lunar Lake yang mencakup tiga unit komputasi terpisah. Unit pemrosesan pusat terdiri dari delapan inti, yaitu empat inti performa dan empat inti efisiensi energi. Unit pemrosesan grafis menggunakan arsitektur Xe2 dengan ratusan unit komputasi paralel dan dukungan perkalian matriks perangkat keras. Unit pemrosesan neural generasi keempat memiliki kemampuan hingga 40 TOPS dan dirancang khusus untuk operasi perkalian matriks dalam format INT8 dan FP16 pada frekuensi rendah.
Ketiga unit komputasi tersebut berbagi memori operasional yang sama, sehingga tidak diperlukan salinan model antar perangkat, namun bus memori menjadi satu-satunya jalur data. Pengujian menggunakan model Qwen3-8B dengan kompresi 4-bit melalui perangkat lunak OpenVINO GenAI 2026.4. Parameter pengujian mencakup permintaan 77 token dan respons 256 token dengan strategi generasi serakah. Pengukuran daya diambil dari rata-rata penghitung RAPL untuk seluruh kristal prosesor selama proses generasi berlangsung.
Hasil pengujian menunjukkan bahwa unit pemrosesan grafis Arc 130V memiliki kecepatan dua kali lipat lebih cepat dibandingkan unit pemrosesan neural dalam membaca prompt. Unit pemrosesan grafis juga lebih efisien dalam konsumsi energi per token, yaitu 1,01 joule dibandingkan 1,52 joule untuk unit pemrosesan neural. Meskipun unit pemrosesan grafis mengonsumsi daya sepertiga lebih banyak, ia menyelesaikan pekerjaan dua kali lebih cepat. Unit pemrosesan pusat memiliki kecepatan generasi yang setara dengan unit pemrosesan neural, namun membaca prompt panjang 12 kali lebih lambat dan mengonsumsi daya paling banyak. Mini komputer ini terbukti 2 hingga 3 kali lebih hemat energi dibandingkan komputer dengan kartu grafis diskrit penuh.
Untuk tugas besar seperti menghasilkan 10.000 token, unit pemrosesan neural membutuhkan waktu 15,6 menit dengan konsumsi 4,2 watt-jam, sedangkan unit pemrosesan grafis membutuhkan 7,9 menit dengan konsumsi 2,8 watt-jam. Selisih energi hanya 1,4 watt-jam. Unit pemrosesan neural lebih hemat sepertiga dibandingkan unit pemrosesan grafis pada beban parsial, dan 4 hingga 10 kali lebih hemat dibandingkan unit pemrosesan pusat. Keunggulan utama unit pemrosesan neural terletak pada kemampuan kerja paralel. Jika dua jaringan saraf dijalankan pada satu unit pemrosesan grafis, kecepatan masing-masing berkurang setengahnya. Namun, jika model bahasa dipindahkan ke unit pemrosesan neural, jaringan saraf pada unit pemrosesan grafis mempertahankan 92 persen kecepatannya. Konsumsi daya total saat ketiga unit bekerja bersamaan adalah 27,5 watt.
Konfigurasi perangkat lunak menggunakan OpenVINO, yaitu kumpulan alat terbuka dari Intel untuk menjalankan jaringan saraf. Model disimpan dalam format IR dengan file grafik xml dan file bobot bin. Setiap perangkat memiliki plugin yang mengompilasi grafik untuk perangkat keras tertentu. Pengujian ini menggunakan pengemudi unit pemrosesan neural versi 32.0.100.5540 dan pengemudi grafis versi 32.0.101.8331. Lingkungan Python 3.12 digunakan dengan pustaka openvino, openvino-genai, nncf, dan huggingface_hub. Strategi kinerja diatur melalui parameter PERFORMANCE_HINT, dengan pengujian utama menggunakan mode THROUGHPUT dan antrean 8 permintaan.