Google Cloud Rilis TPU Sync untuk Transfer Data pada Prosesor TPU
15 November 2026 · Baca 2 menit
Google Cloud telah membuka sumber TPU Sync, sebuah pustaka C++ asli yang memindahkan blok cache KV dan bobot model antara memori HBM pada TPU, memori DRAM host, penyimpanan bersama, dan jaringan pusat data. Sistem ini dirancang untuk menangani beban kerja yang sering menunggu data, seperti penyajian model bahasa besar dengan konteks panjang dan pemisahan prafill serta dekode, serta loop pembelajaran penguatan yang mendorong bobot yang diperbarui dari pelatih ke pengambil sampel.
Google melaporkan bahwa latensi transfer KV median untuk model Qwen3 235B turun dari beberapa detik menjadi sekitar 230 milidetik. Pengurangan rata-rata waktu hingga token pertama mencapai 60 persen untuk model tersebut dan 90 persen untuk model 480B pada konkurensi rendah. Untuk penyangga prefiks, laporan menunjukkan penurunan rata-rata waktu hingga token pertama hingga 90 persen pada beban kerja dengan konteks 64K.
Pengembang menerima paket Python untuk JAX dan PyTorch, yang mencakup API pengelola cache KV, penyimpanan KV, dan sinkronisasi bobot. TPU Sync berfungsi sebagai konektor KV untuk vLLM-TorchTPU melalui antarmuka KVConnector vLLM, serta sebagai backend pemisahan dan cache hierarkis untuk SGLang-TorchTPU. Modul sinkronisasi bobot untuk pembelajaran penguatan pada Pathways dan JAX multi-kontroler masih bersifat eksperimental. Repositori GitHub menyerap kode TPU Raiden sebelumnya dan memperingatkan bahwa API berubah dengan cepat. Hanya build pengembangan yang tersedia di PyPI, dan pengguna disarankan mengunci ke commit terakhir yang diketahui baik. Validasi dilakukan pada TPU v7x dan v6e, dengan persyaratan build torch_tpu yang cocok untuk paket PyTorch.
Pada GPU, masalah serupa ditangani oleh NVIDIA Dynamo dengan pustaka transfer NIXL, LMCache yang memindahkan cache KV ke memori CPU, disk, atau penyimpanan jarak jauh, Mooncake yang menjadi arsitektur di balik Kimi dari Moonshot AI, serta konektor prafill terpisah milik vLLM. TPU Sync berbeda terutama karena terikat pada PJRT dan tata letak ubin TPU, serta mencakup transfer bobot pembelajaran penguatan dalam pustaka yang sama.
Reaksi awal berfokus pada pergerakan data, bukan chip baru. Seorang pengembang menyatakan bahwa pengurangan latensi transfer KV hingga 90 persen lebih penting daripada nama chip, karena penyajian konteks panjang sering terhambat oleh perpindahan cache antar node. Pengembang lain mencatat bahwa TPU 8i Max menggandakan pita lebar HBM menjadi sekitar 17,2 terabits per detik, tetapi satu sesi 64K pada model MoE 235B tetap mengonsumsi sekitar 12,6 gigabita cache KV. Hal ini menunjukkan bahwa pita lebar membantu, tetapi kapasitas tetap menjadi hambatan utama.
TPU Sync tersedia di bawah lisensi Apache 2,0. Repositorinya mencakup dokumentasi arsitektur, API C++ dan Python, serta contoh untuk penyajian terpisah tunggal dan multi-host serta offloading KV host. Hingga rilis stabil dipotong, paket JAX dan PyTorch hanya diterbitkan sebagai build pengembangan, sementara lapisan penyimpanan dan sinkronisasi bobot pembelajaran penguatan tetap eksperimental.