Google erweitert achte Generation von KI-Chips um TPU 8i Max und TPU 8tx: Riesige Kontexte und Confidential Computing

Google hat keinen neuen Chip entworfen, bringt daraus aber zwei neue Maschinen hervor. An diesem Montag, dem 9. November, hat das Unternehmen die achte Generation seiner KI-Beschleuniger in einem Blogbeitrag von Amin Vahdat, dem technischen Leiter der KI-Infrastruktur, um TPU 8i Max und TPU 8tx erweitert. Das erste System zielt auf extrem lange Kontexte ab, das zweite auf sensible Daten. Zusammen mit den im April vorgestellten TPU 8t und TPU 8i sind das vier TPU-Systeme in einem Jahr – laut Google eine Premiere.

Zwei Konfigurationen, keine zwei neuen Chips

Google betont die Nuance: Das Designen eines Chips dauert Jahre, während ein System (die Art und Weise, wie Chips, Speicher, Netzwerk und Sicherheit kombiniert werden) innerhalb weniger Monate entwickelt werden kann. Die beiden Neuerungen greifen daher auf bestehendes Silizium zurück.

TPU 8i Max widmet sich der „Speichermauer“. Wenn Dutzende Agenten gemeinsam an einer gesamten Codebasis oder an stundenlangem Videomaterial arbeiten, bremst vor allem die Speicherbandbreite, nicht die Rechenleistung. Google vereint deshalb zwei TPU-8i-Chips in einem einzigen Gehäuse: doppelt so viel Rechenleistung, SRAM-Speicher und HBM-Bandbreite wie bei TPU 8i im selben Rack-Formfaktor, was mehr Leistung pro Quadratmeter und Watt bedeutet. Laut Network World, die Mark Lohmeyer von Google Cloud befragt haben, entspricht dies 384 GB HBM, 17,2 TB/s Bandbreite und 768 MB SRAM; diese Zahlen finden sich nicht im offiziellen Blogbeitrag.

TPU 8tx nutzt den für das Training konzipierten Chip der TPU 8t in Verbindung mit AMD EPYC-Hostprozessoren der 5. Generation. Seine Besonderheit: Confidential Computing. Üblicherweise werden Daten im Ruhezustand und bei der Übertragung verschlüsselt, aber zum Zeitpunkt der Berechnung im Speicher entschlüsselt. TPU 8tx hält sie selbst während der Verarbeitung geschützt und isoliert, einschließlich der Modellgewichte. Google richtet sich damit an regulierte Unternehmen und staatliche Institutionen, die Modelle und Agenten auf ihren sensibelsten Daten ausführen und Fine-Tuning, Destillation oder Reinforcement Learning anwenden wollen, ohne diese Daten zu bewegen. Dank des Netzwerks mit geringer Latenz von TPU 8i kündigt Google eine bis zu doppelt so geringe Latenz im Vergleich zu TPU 8t an.

Die Software als zweite Hälfte der Ankündigung

Google flankiert diese Maschinen mit einer Reihe von Tools, um seine TPUs so einfach nutzbar zu machen wie GPUs. Das Unternehmen stellt TPU Sync als Open Source bereit – eine Schicht, die den Modellzustand (insbesondere den KV-Cache für lange Kontexte) auf den Speicher der Chips, der Server und den Storage verteilt, wodurch sich die Time-to-First-Token laut Google um über 90 Prozent verringert. Eine Open-Source-TPU-Agenten-Suite in der Vorschau lässt sich an Claude Code, Cursor oder Google Antigravity anbinden, um Code zu migrieren und zu optimieren. Hinzu kommen die Open-Source-Serving-Engine XLA Serving Engine, die Software Agent Compute Engine, die inaktive Agentensitzungen pausiert, um Chips freizugeben, sowie die allgemeine Verfügbarkeit von Cloud Pathways und des dynamischen Slicings von TPU-Clustern auf GKE, Googles Kubernetes-Dienst.

Was fehlt

Google nennt für beide Systeme weder Preise noch Regionen oder ein Verfügbarkeitsdatum. Die angeführten Leistungssteigerungen basieren auf internen Messungen ohne veröffentlichte unabhängige Prüfungen. Das Unternehmen verweist auf fast 100 Kunden für seine TPUs, darunter führende KI-Labore, und verspricht weitere Details in einem Livestream an diesem Montag um 18:00 Uhr Pariser Zeit.