---
title: Google publie TPU Sync en libre pour transférer les caches et poids sur TPU
url: https://www.elseif.net/fr/google-publie-tpu-sync-en-libre-pour-transferer-les-caches-et-poids-sur-tpu
published: 2026-11-15T10:08:48+00:00
language: fr
section: Harnais
source: https://www.infoq.com/news/2026/11/google-tpu-sync/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global
organizations: Google Cloud, NVIDIA, Moonshot AI
publisher: elseif
---

# Google publie TPU Sync en libre pour transférer les caches et poids sur TPU

Google Cloud a rendu public TPU Sync, une bibliothèque C++ native qui déplace les blocs de cache KV et les poids des modèles entre la mémoire HBM des TPU, la DRAM de l'hôte, le stockage partagé et le réseau du centre de données. Le projet cible deux types de charges de travail où les accélérateurs attendent souvent les données : le service de grands modèles de langage à long contexte et le service désagrégé, ainsi que les boucles d'apprentissage par renforcement qui poussent les poids mis à jour des entraîneurs vers les échantillonneurs de déploiement.

Pour la désagrégation de préremplissage et de décodage, Google indique que la latence médiane du transfert KV pour le modèle Qwen3 235B est passée de plusieurs secondes à environ 230 millisecondes. Les réductions moyennes du temps jusqu'à la première réponse atteignent 60 % pour ce modèle et 90 % pour un modèle de 480 milliards de paramètres à faible concurrence. Pour la mise en cache préfixe, l'entreprise rapporte une baisse moyenne du temps jusqu'à la première réponse de jusqu'à 90 % sur les charges de travail à contexte de 64 000 jetons.

Les développeurs reçoivent des paquets Python pour JAX et PyTorch, avec des interfaces de gestionnaire de cache KV, de magasin KV et de synchroniseur de poids. TPU Sync agit comme connecteur KV pour vLLM-TorchTPU via l'interface KVConnector de vLLM, comme backend de désagrégation et de cache hiérarchique pour SGLang-TorchTPU, et s'associe à llm-d 1.0 sur GKE pour un routage prenant en compte la mise en cache préfixe. Le module de synchronisation des poids pour l'apprentissage par renforcement destiné à Pathways et à JAX multi-contrôleurs reste expérimental. Le dépôt GitHub, qui a absorbé l'ancienne base de code TPU Raiden, prévient que les interfaces changent rapidement et que seuls des builds de développement sont sur PyPI, recommandant de fixer la dernière version connue fonctionnelle. La validation s'effectue sur TPU v7x et v6e, et le paquet PyTorch exige un build torch_tpu correspondant qui n'est pas sur un index public.

Sur les GPU, des problèmes similaires sont gérés par NVIDIA Dynamo et sa bibliothèque de transfert NIXL, LMCache qui déplace le cache KV vers la mémoire CPU, le disque ou des magasins distants, Mooncake, l'architecture de service centrée sur le cache KV derrière Kimi de Moonshot AI, et les connecteurs de préremplissage désagrégés de vLLM. TPU Sync se distingue principalement par son lien avec PJRT et les dispositions de tuiles TPU, et par la couverture du transfert de poids pour l'apprentissage par renforcement dans la même bibliothèque.

Les premières réactions se sont concentrées sur le mouvement des données plutôt que sur les nouveaux puces. Le développeur Anand Butani a partagé que la réduction de 90 % de la latence de transfert KV par TPU Sync lui importe plus que les noms des puces, le service à long contexte mourant surtout lors du déplacement du cache entre les nœuds. Un autre développeur sous le pseudonyme @lgoodbookd a fait des calculs approximatifs expliquant pourquoi la bande passante seule ne résout pas le problème : le 8i Max double la bande passante HBM à environ 17,2 To/s, mais une session de 64 000 jetons sur un MoE de 235 milliards consomme encore environ 12,6 Go de cache KV. C'est pourquoi la publication de TPU Sync en libre, avec une hiérarchisation du cache KV en DRAM d'hôte à environ 223 Go/s par hôte v7x, peut compter autant que le nouveau package. La bande passante aide, mais la capacité reste le mur.

TPU Sync est disponible sous licence Apache 2.0, et son dépôt comprend une documentation d'architecture, des interfaces C++ et Python, et des exemples pour le service désagrégé mono-hôte et multi-hôte et le déchargement du cache KV sur l'hôte. Jusqu'à une version stable, les paquets JAX et PyTorch sont publiés uniquement comme builds de développement, tandis que la couche de stockage et la synchronisation des poids pour l'apprentissage par renforcement restent expérimentales.