Google lancia TPU 8tx e TPU 8i Max per inferenza riservata e finestre di contesto ampie
12 novembre 2026 · 3 min di lettura
Google ha presentato due nuovi sistemi nella famiglia di processori TPU di ottava generazione, denominati TPU 8tx e TPU 8i Max. Queste nuove architetture sono progettate rispettivamente per gestire carichi di lavoro di inferenza con protezione dei dati a livello hardware e per supportare finestre di contesto di grandi dimensioni attraverso un pacchetto a doppio chip.
Il sistema TPU 8tx è costruito sullo stesso silicio del modello TPU 8t ma opera in coppia con CPU host AMD EPYC di quinta generazione. Questa configurazione è specifica per l'inferenza riservata destinata a organizzazioni in settori fortemente regolamentati e agenzie governative che devono eseguire modelli e agenti di intelligenza artificiale insieme a dati sensibili. Mentre i dati sono tipicamente cifrati durante lo stoccaggio o il transito di rete, devono essere decifrati in memoria durante l'elaborazione. Il TPU 8tx integra capacità di sicurezza direttamente nell'hardware per proteggere e isolare sia i dati che i pesi del modello anche durante il calcolo. Il sistema utilizza la rete Boardfly a bassa latenza, comune al TPU 8i, riducendo la latenza fino a due volte rispetto al TPU 8t con impatto minimo sulle prestazioni.
Il TPU 8i Max affronta il collo di bottiglia della memoria che si verifica quando decine di agenti di intelligenza artificiale lavorano simultaneamente su interi codebase o video di lunga durata. Google ha integrato due chip TPU 8i in un unico pacchetto, raddoppiando la capacità di calcolo, la memoria SRAM e la larghezza di banda della memoria HBM rispetto a un singolo chip TPU 8i. Questa densità maggiore di silicio nello stesso spazio rack consente ai data center di ottenere una potenza di calcolo per piede quadrato e per watt superiore. Questa soluzione permette di affinare modelli con dati interni, distillare modelli grandi in modelli piccoli e addestrare agenti con apprendimento per rinforzo senza spostare dati sensibili tra cluster.
Questi lanci portano a quattro i sistemi TPU introdotti da Google nell'arco di un singolo anno, un primato per l'azienda. La famiglia di ottava generazione include ora il TPU 8t per l'addestramento di modelli, il TPU 8i per il ragionamento a bassa latenza, il TPU 8tx per il calcolo riservato e il TPU 8i Max per finestre di contesto ampie e massima densità di calcolo per rack. Attualmente il business TPU conta quasi 100 clienti, tra cui laboratori all'avanguardia, società di trading, imprese di vendita al dettaglio e università, con la possibilità per i clienti di installare i TPU nei propri data center.
Sul fronte software, Google ha reso open source TorchTPU, permettendo l'esecuzione diretta di codice PyTorch e modelli da Hugging Face sui TPU senza modifiche al codice, includendo backend per vLLM e SGLang. È stata inoltre introdotta una suite di agenti TPU open source in anteprima, compatibile con strumenti di sviluppo come Claude Code e Cursor, per facilitare l'analisi dei colli di bottiglia e la sintonizzazione automatica dei kernel personalizzati tramite linguaggio naturale. Il motore di servizio XLA consente di addestrare modelli in Python e distribuirli su runtime C++ su TPU, GPU e CPU.
Per la gestione di cluster su larga scala, Google ha rilasciato TPU Sync come progetto open source, unificando la memoria HBM dei chip, la DRAM dell'host, lo storage condiviso e la rete del data center in un unico livello di memoria gerarchico. Questa architettura riduce la latenza nell'invio della cache KV e il tempo per il primo token di oltre il 90 percento. Inoltre, Cloud Pathways è generalmente disponibile su Google Kubernetes Engine, permettendo il controllo di più slice di TPU da un unico controller come se fossero una singola macchina. La funzionalità di slicing dinamico di GKE, anch'essa generalmente disponibile, utilizza la commutazione ottica di circuiti per assemblare o dividere le slice di TPU istantaneamente, accelerando l'avvio dei lavori fino a cinque volte e il recupero dagli errori fino a 4,5 volte.