Google lanserer TPU 8tx og TPU 8i Max for konfidensiell inferens og store kontekstvinduer
12. november 2026 · 3 min lesing
Google har kunngjort lanseringen av to nye systemer i den åttende generasjonen av sine tensorbehandlingsenheter, nemlig TPU 8tx og TPU 8i Max. Disse systemene er designet for å håndtere henholdsvis konfidensiell inferens på maskinvarenivå og arbeidsoppgaver som krever svært store kontekstvinduer. Denne utvidelsen markerer første gang selskapet introduserer fire distinkte TPU-systemer innenfor ett enkelt kalenderår.
Den nye TPU 8tx er bygget på samme silisium som den tidligere TPU 8t-modellen for modelltrening, men er arkitektonisk tilpasset for oppgaver der data må beskyttes strengt. Systemet er utviklet for organisasjoner i sterkt regulerte bransjer og offentlige etater som trenger å kjøre kunstig intelligens-agenter og modeller sammen med sensitiv informasjon. Mens data vanligvis må dekrypteres i minnet under behandling, integrerer TPU 8tx sikkerhetsfunksjoner direkte i maskinvaren for å beskytte og isolere både data og modellvekter selv under selve beregningen. Enheten arbeider sammen med AMD EPYC prosessorer i femte generasjon som vertsmaskiner.
For å støtte lav forsinkelse benytter TPU 8tx det samme Boardfly-nettverket som finnes i TPU 8i-serien. Denne konfigurasjonen gir opptil dobbelt så lav latens sammenlignet med TPU 8t, med minimal påvirkning på ytelsen. Denne arkitekturen tillater organisasjoner å finjustere modeller med interne data, destillere store modeller til mindre versjoner og trene agenter ved hjelp av forsterkningslæring uten å måtte flytte sensitiv informasjon på tvers av ulike klynger.
Den andre nyheten, TPU 8i Max, adresserer flaskehalser i minnebåndbredde som oppstår når dusinvis av agenter arbeider samtidig på store kodebaser eller time lange videoopptak. Google har løst dette ved å pakke to TPU 8i-brikker inn i en enkelt enhet. Denne løsningen dobler mengden av beregningskraft, SRAM og HBM-båndbredde sammenlignet med en enkelt TPU 8i-brikke. Ved å plassere dobbelt så mye silisium i det samme rack-området oppnår datasentre høyere beregningstetthet per kvadratfot og per watt.
Tidligere i år introduserte Google TPU 8t for trening av store modeller og TPU 8i for resonnement i sanntid. Den tidligere modellen ble rapportert å gi opptil 2,7 ganger bedre ytelse for modelltrening, mens den sistnevnte ble oppgitt å tilby 80 prosent bedre pris-ytelse for inferens sammenlignet med foregående generasjon. Den nåværende TPU-virksomheten betjener nesten 100 kunder, inkludert ledende forskningslaboratorier, handelsfirmaer, detaljhandelsaktører og universiteter. Kundene har nå muligheten til å installere disse enhetene i sine egne datasentre.
De nye systemene benytter ikke nye brikker, men representerer en ny organisering av beregning, nettverk, lagring og emballasje rundt eksisterende silisium. Google opplyser at denne tilnærmingen gjør det mulig å levere spesialiserte systemer i løpet av måneder i stedet for år. På programvaresiden har selskapet gjort TorchTPU tilgjengelig som åpen kildekode, noe som lar PyTorch-kode og modeller fra Hugging Face kjøre direkte på TPU uten kodeendringer. Det finnes også en åpen kildekode-pakke for agenter som støtter verktøy for kodegenerering og analyse, samt muligheter for automatisk innstilling av tilpassede kjerner ved hjelp av naturlig språk.
For administrasjon av store klynger har Google lansert TPU Sync som åpen kildekode. Dette verktøyet slår sammen minnet fra brikkene, vertsmaskinene og lagringssystemene til én hierarkisk minnestruktur, noe som angivelig reduserer latensen for sending av nøkkel-verdi-mellomlager og tiden til første token med mer enn 90 prosent. I tillegg er Cloud Pathways nå generelt tilgjengelig på Googles Kubernetes-motor, noe som gjør det mulig å kontrollere flere TPU-segmenter fra én kontroller som om de var én enkelt maskin. Dynamisk segmentering i samme plattform tillater umiddelbar sammensetting eller deling av TPU-segmenter uten behov for nye nodegrupper, noe som skal øke oppstartshastigheten med opptil fem ganger og gjenoppretting etter feil med opptil 4,5 ganger.