Google lanserar TPU 8tx och TPU 8i Max för säker inferens och stora kontextfönster

Google har lanserat två nya system, TPU 8tx och TPU 8i Max, som utgör den åttonde generationen av deras TPU-hårdvara. Dessa system är designade för specifika behov inom skyddad databehandling och hantering av omfattande kontextdata. Lanseringen sker i en tid då företaget redan tidigare i år introducerat TPU 8t för modellträning och TPU 8i för realtidsinferens. Med dessa nya tillägg har Google nu presenterat fyra olika TPU-system under samma kalenderår, vilket är första gången som sker. TPU 8tx är utformat för att hantera inferensuppgifter där dataintegritet är kritisk. Systemet bygger på samma silicium som TPU 8t men arbetar i par med AMD EPYC-processorer av femte generationen. Den huvudsakliga funktionen är att skydda känslig information, inklusive modellviktningar, på hårdvarunivå även under pågående beräkningar. Detta är särskilt relevant för organisationer inom starkt reglerade branscher och statliga myndigheter som behöver köra AI-modeller och agenter med konfidentiella data. I vanliga system krypteras data vid lagring och överföring men måste dekrypteras i minnet under bearbetning. TPU 8tx eliminerar denna sårbarhet genom att hålla data krypterad hela tiden.

Systemet använder dessutom ett låglatensnätverk kallat Boardfly, vilket ger upp till dubbelt så låg latens jämfört med TPU 8t utan att det påverkar prestandan negativt. Detta gör att organisationer kan finjustera modeller, destillera stora modeller till mindre och träna agenter med förstärkande inlärning utan att behöva flytta känslig data mellan olika kluster. TPU 8i Max är utformat för att lösa problemet med minnesbandbredd när många AI-agenter arbetar samtidigt med stora kodbaser eller långa videosekvenser. Genom att kombinera två TPU 8i-chipper i en enda paketning får systemet dubbelt så stor beräkningskapacitet, SRAM och HBM-bandbredd jämfört med en ensam TPU 8i. Detta ökar också beräkningsstyrkan per kvadratfot och per watt i datacentret. Fördelen är att man kan få mer beräkningskraft i samma fysiska utrymme. På mjukvarusidan har Google gjort flera verktyg tillgängliga som öppen källkod. TorchTPU gör det möjligt att köra PyTorch-kod och modeller från Hugging Face direkt på TPU utan att ändra kod. Det finns även stöd för vLLM och SGLang. En öppen källkodsagenter-suite, som är i förhandsgranskning, fungerar tillsammans med verktyg som Claude Code, Cursor och Google Antigravity.