Googleが第8世代AIチップにTPU 8i MaxとTPU 8txを追加：超長コンテキストと機密コンピュートに対応

Googleは新しいチップを一から設計したわけではないが、既存のシリコンから2つの新たなマシンを生み出した。11月9日（月）、同社はAIインフラ技術責任者のAmin Vahdatによるブログ記事において、第8世代AIアクセラレータにTPU 8i MaxとTPU 8txを追加したと発表した。前者は超長コンテキストを、後者は機密データの処理を対象とする。4月に発表されたTPU 8tおよびTPU 8iと合わせ、同一年に4つのTPUシステムが投入されることになり、Googleによればこれは初の試みだという。

新型チップではなく、2つの新構成

Googleはその違いを強調する。半導体チップの設計には数年を要するが、システム（チップ、メモリ、ネットワーク、セキュリティの組み合わせ方）であれば数か月で展開できる。したがって、今回の2つの新製品は既存のシリコンを再利用したものだ。

TPU 8i Maxは「メモリの壁」に挑む。多数のエージェントが連携してコードベース全体や数時間分の動画を処理する場合、計算性能以上にボトルネックとなるのがメモリ帯域幅である。そこでGoogleは、1つのパッケージに2基のTPU 8iチップを統合した。TPU 8iと比較して計算能力、SRAM容量、HBM帯域幅が2倍になり、同じラック専有面積により多くのシリコンを収めることで、単位面積・単位電力あたりの性能を引き上げている。Google CloudのMark Lohmeyerに取材したNetwork Worldによると、これは384GBのHBM、17.2TB/sの帯域幅、768MBのSRAMに相当するというが、これらの数値は公式ブログには記載されていない。

TPU 8txは、トレーニング向けに設計されたTPU 8tのチップを採用し、第5世代AMD EPYCホストプロセッサと組み合わせている。その最大の特徴は機密コンピュート（Confidential Computing）だ。通常、データは保存時や転送時に暗号化されるものの、計算時にはメモリ上で復号される。TPU 8txは、モデルの重みも含め、処理中であってもデータを暗号化・保護された状態に保つ。Googleは、最も機密性の高いデータ上でモデルやエージェントを実行し、データを外部に移動させることなくファインチューニング、蒸留、強化学習を行いたい規制対象企業や政府機関向けに本システムを位置付けている。TPU 8iの低レイテンシネットワークを採用することで、TPU 8t比で最大2倍の低レイテンシを実現したとアピールする。

もうひとつの主役であるソフトウェア

Googleはこれらのマシンとともに、TPUをGPUと同じくらい扱いやすくするための一連のツール群も発表した。モデルの状態（特に長コンテキストでのKVキャッシュ）をチップのメモリ、ホストサーバ、ストレージの間で分散管理するTPU Syncをオープンソース化し、Googleによるとファーストトークンまでの時間（TTFT）を90%以上短縮できるという。また、Claude Code、Cursor、Google Antigravityと連携してコードの移行や最適化を行うオープンソースのTPUエージェントスイートのプレビュー版、オープンソースのXLA Serving Engine、アイドル状態のエージェントセッションを一時停止してチップを解放するAgent Compute Engine、さらに同社のKubernetesサービスであるGKE上でのCloud PathwaysおよびTPUクラスタの動的スライシング（dynamic slicing）の一般提供も開始された。

不足している情報

Googleは両システムについて、価格、提供リージョン、提供開始日を一切公表していない。言及された性能向上はすべて自社測定によるものであり、第三者による独立した検証データは公開されていない。同社は最先端のAI研究所を含め、TPUの顧客が約100社に達したと主張しており、パリ時間月曜18時からのライブ配信で詳細を明らかにすると予告している。