Google aggiunge TPU 8i Max e TPU 8tx alla sua ottava generazione di chip IA: contesti giganti e confidential computing

Google non ha progettato un nuovo chip, ma ne ricava due nuove macchine. Questo lunedì 9 novembre, l’azienda ha aggiunto TPU 8i Max e TPU 8tx all’ottava generazione dei suoi acceleratori per l’IA, in un post di Amin Vahdat, responsabile tecnico dell’infrastruttura IA. Il primo punta a contesti lunghissimi, il secondo ai dati sensibili. Insieme a TPU 8t e TPU 8i, presentati ad aprile, si arriva a quattro sistemi TPU in un anno, una novità assoluta secondo Google.

Due configurazioni, non due nuovi chip

Google sottolinea la differenza: progettare un chip richiede anni, mentre un sistema (il modo in cui si assemblano chip, memoria, rete e sicurezza) può essere declinato in pochi mesi. Entrambe le novità riutilizzano quindi il silicio esistente.

TPU 8i Max affronta il «muro della memoria». Quando decine di agenti lavorano contemporaneamente su un’intera base di codice o su ore di video, è la larghezza di banda della memoria a fare da collo di bottiglia, più che la pura potenza di calcolo. Google unisce dunque due chip TPU 8i nello stesso package: il doppio della potenza di calcolo, della memoria SRAM e della larghezza di banda HBM rispetto a TPU 8i, nello stesso ingombro su rack, offrendo quindi più potenza per metro quadrato e per watt. Secondo Network World, che ha interpellato Mark Lohmeyer di Google Cloud, ciò si traduce in 384 GB di HBM, 17,2 TB/s di larghezza di banda e 768 MB di SRAM; dettagli che non compaiono nel post ufficiale.

TPU 8tx riprende il chip di TPU 8t, progettato per l’addestramento, affiancato a processori host AMD EPYC di quinta generazione. La sua peculiarità: il confidential computing. Solitamente i dati sono crittografati a riposo e durante il trasferimento, ma decifrati in memoria durante l’elaborazione. TPU 8tx li mantiene protetti e isolati anche durante il calcolo, compresi i pesi del modello. Google lo rivolge alle aziende regolamentate e agli Stati che desiderano eseguire modelli e agenti sui propri dati più sensibili, aggiungendovi fine-tuning, distillazione o apprendimento per rinforzo senza spostare tali dati. Grazie alla rete a bassa latenza di TPU 8i, Google dichiara una latenza fino a due volte inferiore rispetto a TPU 8t.

Il software, l’altra metà dell’annuncio

Google accompagna queste macchine con una serie di strumenti mirati a rendere le sue TPU semplici da usare quanto le GPU. Rilascia come open source TPU Sync, un livello che distribuisce lo stato dei modelli (in particolare la cache KV dei contesti lunghi) tra la memoria dei chip, quella dei server e lo storage, con un tempo al primo token ridotto di oltre il 90% secondo l’azienda. Una suite di agenti TPU open source, in anteprima, si integra con Claude Code, Cursor o Google Antigravity per facilitare la migrazione e l’ottimizzazione del codice. Si aggiungono il motore di serving open source XLA Serving Engine, il software Agent Compute Engine, che sospende le sessioni degli agenti inattive per liberare i chip, e la disponibilità generale di Cloud Pathways e del dynamic slicing dei cluster di TPU su GKE, il suo servizio Kubernetes.

Cosa manca

Google non fornisce prezzi, regioni né date di disponibilità per i due sistemi. I miglioramenti prestazionali citati derivano da misurazioni interne, senza benchmark indipendenti pubblicati. L’azienda rivendica quasi 100 clienti per le sue TPU, inclusi laboratori di IA all’avanguardia, e promette ulteriori dettagli durante una diretta streaming questo lunedì alle 18:00, ora di Parigi.