Google：コード内の古いTODOがエージェントを脱線させ、セッションあたりのトークン消費が77%増加

開発者にとって、3年前から放置された TODO(bug/1234) というコメントは、もはや目にも留まらない単なるノイズにすぎない。しかし、コーディングエージェントにとっては行動への合図となる。11月6日に公開された分析記事（Googleのデベロッパーブログ）は、エージェントがコードを探索する際、こうした古い残骸がどれほどのコストをもたらしているかを大規模に数値化している。

単純な指標：バグに紐づくTODO

数百万件ものセッションにおいて、エージェントの「気の散り（distraction）」を手作業で測定することは不可能である。著者のSam Saccone氏とMadhuri Garikapati氏は、自動測定可能な指標を見出した。ステータスを追跡できるチケットを参照している TODO(bug/...) や FIXME(bug/...) といったコメントである。エージェントが遭遇した各コメントと、バグのステータスおよび開発者からの初期指示を照合することで、有益な作業と余計な寄り道を分類した。

分析対象となったログは、数千人のエンジニアが利用する社内コーディングエージェントのもので、数億ステップに及ぶ。ファイル読み取りセッションの13%がこの種のコメントに遭遇している。そのうち94%のケースでエージェントはコメントを無視したが、6%では記載されたバグに対して何らかのアクションを起こし、そのアクションの83%は開発者が指示したものではなかった。

クローズ済みバグと指示外の作業

これらの寄り道には2つのパターンがある。5回中2回以上は、すでにクローズされたチケットを対象としていた。内訳は、とっくに修正済みのバグ（32%）、または破棄されたバグ（9%）である。残る半数以上のケースではバグが未解決のままであり、エージェントは勝手に作業範囲を拡大していた。誰も手を付けるよう指示していないコードを調査したり（61%）、修正したり（39%）していたのである。Googleの報告によると、別のバグを調査中に2023年に解決済みのチケットを掘り返し始めたエージェントや、開発者が異議を唱える前に独断でコードを「修正」してしまったエージェントの例が挙げられている。

そのコストの差は歴然としている。担当開発者、コードの複雑度、タスク種別、モデルの性能レベルを同等に揃えて比較した場合、要求されていない寄り道が発生したセッションは、ステップ数が70%、トークン消費が77%、待機時間が105%それぞれ増加した。

解決策：清掃エージェントの導入

Googleは、クローズされたバグへの参照を特定し、チケット、ファイル、コードの履歴（場合によっては数年分）を精査したうえで削除を提案する専門のエージェントを稼働させた。この取り組みにより、6か月間で数千件の不要なTODOが削除され、人間のレビュアーによる承認率は95%以上に達した。