---
title: Pemisahan beban kerja inferensi menggandakan efisiensi GPU tanpa biaya tambahan
url: https://www.elseif.net/id/pemisahan-beban-kerja-inferensi-menggandakan-efisiensi-gpu-tanpa-biaya-tambahan
published: 2026-10-22T04:16:23+00:00
language: id
section: Harness
source: https://www.computerwoche.de/article/4163759/gpu-effizienz-verdoppeln-ohne-zusatzkosten.html
organizations: NVIDIA, Perplexity, Meta, LinkedIn, Mistral, Red Hat
publisher: elseif
---

# Pemisahan beban kerja inferensi menggandakan efisiensi GPU tanpa biaya tambahan

Seorang konsultan infrastruktur kecerdasan buatan menyelesaikan proyek perencanaan kapasitas untuk seorang pengecer global pada akhir tahun 2025. Proyek ini bertujuan untuk mengatasi lonjakan konsumsi jam GPU yang terjadi selama musim liburan, yang sebelumnya menyebabkan ketidaknyamanan fisik bagi tim keuangan perusahaan tersebut. Pengecer ini telah mengintegrasikan model berukuran 70 miliar parameter ke dalam pipeline pencarian dan rekomendasi produknya, di mana setiap kueri pencarian memicu satu panggilan inferensi. Untuk mengatasi masalah ini, konsultan tersebut menerapkan arsitektur inferensi terdisagregasi, yang memisahkan pemrosesan prompt dan generasi token ke dalam dua pool GPU yang berbeda. Pendekatan ini berhasil menggandakan efisiensi komputasi keseluruhan dan mengurangi biaya tahunan sebesar 600.000 hingga 800.000 dolar Amerika, tanpa memerlukan pembelian perangkat keras baru atau perubahan volume permintaan.

Sebelum intervensi ini, perusahaan tersebut telah meningkatkan jumlah GPU NVIDIA H100 dari 24 menjadi 48 unit. Meskipun demikian, latensi masih melonjak secara tajam di bawah beban puncak, dan tim keuangan mempertanyakan apakah 96 GPU diperlukan untuk penjualan bulan Januari. Analisis profiling pada lapisan layanan menunjukkan bahwa selama fase pemrosesan prompt, GPU beroperasi dengan pemanfaatan komputasi 92 persen, namun fase ini hanya berlangsung sekitar 200 milidetik per permintaan. Sebaliknya, fase generasi token memakan waktu tiga hingga sembilan detik, di mana pemanfaatan GPU turun drastis menjadi 30 persen. Selama periode ini, bus memori bekerja keras untuk membaca cache perhatian, sementara inti komputasi tetap tidak aktif. Akibatnya, perusahaan membayar tarif penuh untuk jam GPU, tetapi hanya menerima kinerja puncak selama sekitar lima persen dari total waktu eksekusi setiap permintaan. Sisanya, yaitu 95 persen, terbuang karena masalah bandwidth memori.

Solusi yang diterapkan adalah memecah beban kerja menjadi dua pool terpisah. Satu pool didedikasikan untuk pemrosesan prompt, yang merupakan operasi perkalian matriks padat, dan pool lainnya untuk generasi token, yang merupakan akses memori berurutan. Lapisan routing mengarahkan setiap permintaan ke pool yang tepat pada waktu yang sesuai, dengan cache perhatian ditransfer melalui koneksi jaringan yang cepat. Konsultan tersebut awalnya menghadapi keraguan dari klien karena kompleksitas operasional tambahan dan ketergantungan jaringan yang baru. Namun, klien akhirnya setuju setelah mengetahui bahwa perusahaan teknologi besar seperti Perplexity, Meta, LinkedIn, dan Mistral telah mengadopsi metode ini. Selain itu, NVIDIA telah meluncurkan kerangka kerja orkestrasi Dynamo pada awal tahun 2026, dan mesin sumber terbuka vLLM serta SGLang telah menambahkan mode layanan terdisagregasi secara native.

Dalam uji coba konsep selama dua minggu, kluster dibagi menjadi delapan GPU untuk pemrosesan prompt dan sisanya untuk generasi token. Pool prompt mencapai pemanfaatan komputasi 90 hingga 95 persen secara konsisten. Pool generasi token menunjukkan peningkatan signifikan, di mana penggunaan bandwidth naik dari 30 persen menjadi lebih dari 70 persen berkat pengelompokan ratusan permintaan dekode paralel. Latensi juga membaik, dengan laju token yang merata dan hilangnya penundaan yang disebabkan oleh prompt baru. Meskipun solusi ini tidak cocok untuk prompt pendek atau kluster kecil dengan kurang dari selusin GPU, ia sangat efektif untuk skala perusahaan yang mengelola puluhan hingga ratusan GPU, di mana kerugian pemanfaatan dapat mencapai jutaan dolar per tahun.