Google ajoute TPU 8i Max et TPU 8tx à sa huitième génération de puces d'IA : contexte géant et calcul confidentiel

Google n’a pas dessiné de nouvelle puce, mais il en tire deux nouvelles machines. Ce lundi 9 novembre, l’entreprise a ajouté TPU 8i Max et TPU 8tx à la huitième génération de ses accélérateurs d’IA, dans un billet d’Amin Vahdat, son responsable technique de l’infrastructure IA. Le premier vise les très longs contextes, le second les données sensibles. Avec TPU 8t et TPU 8i, présentés en avril, cela fait quatre systèmes TPU en un an, une première selon Google.

Deux configurations, pas deux nouvelles puces

Google insiste sur la nuance : concevoir une puce prend des années, alors qu’un système (la façon d’assembler puces, mémoire, réseau et sécurité) peut se décliner en quelques mois. Les deux nouveautés réutilisent donc le silicium existant.

TPU 8i Max s’attaque au « mur de la mémoire ». Quand des dizaines d’agents travaillent ensemble sur toute une base de code ou des heures de vidéo, c’est la bande passante mémoire qui freine, plus que le calcul. Google réunit donc deux puces TPU 8i dans un même boîtier : deux fois plus de calcul, de mémoire SRAM et de bande passante HBM que TPU 8i, dans le même encombrement de baie, donc plus de puissance par mètre carré et par watt. Selon Network World, qui a interrogé Mark Lohmeyer, de Google Cloud, cela représente 384 Go de HBM, 17,2 To/s de bande passante et 768 Mo de SRAM ; ces chiffres ne figurent pas dans le billet officiel.

TPU 8tx reprend la puce de TPU 8t, conçue pour l’entraînement, associée à des processeurs hôtes AMD EPYC de 5e génération. Sa particularité : le calcul confidentiel. D’habitude, les données sont chiffrées au repos et pendant leur transfert, mais déchiffrées en mémoire au moment du calcul. TPU 8tx les garde protégées et isolées même pendant le traitement, poids du modèle compris. Google le destine aux entreprises réglementées et aux États qui veulent faire tourner des modèles et des agents sur leurs données les plus sensibles, et y ajouter de l’ajustement fin, de la distillation ou de l’apprentissage par renforcement sans déplacer ces données. Grâce au réseau à faible latence de TPU 8i, Google annonce une latence jusqu’à deux fois plus faible que TPU 8t.

Le logiciel, l’autre moitié de l’annonce

Google accompagne ces machines d’une série d’outils pour rendre ses TPU aussi simples à utiliser que des GPU. Il ouvre en open source TPU Sync, une couche qui répartit l’état des modèles (notamment le cache KV des longs contextes) entre la mémoire des puces, celle des serveurs et le stockage, avec un délai avant le premier jeton réduit de plus de 90 % selon lui. Une suite d’agents TPU open source, en préversion, se branche sur Claude Code, Cursor ou Google Antigravity pour migrer et optimiser du code. S’y ajoutent le moteur de service open source XLA Serving Engine, le logiciel Agent Compute Engine, qui suspend les sessions d’agents inactives pour libérer les puces, et la disponibilité générale de Cloud Pathways et du découpage dynamique des grappes de TPU sur GKE, son service Kubernetes.

Ce qui manque

Google ne donne ni prix, ni régions, ni date de disponibilité pour les deux systèmes. Les gains de performance cités sont des mesures maison, sans évaluation indépendante publiée. L’entreprise revendique près de 100 clients pour ses TPU, laboratoires d’IA de pointe compris, et promet d’en dire plus lors d’une diffusion en ligne ce lundi à 18 h, heure de Paris.