Google: Alte TODOs im Code lenken KI-Agenten ab – und kosten 77 Prozent mehr Tokens pro Sitzung
Durch die Analyse von Millionen Sitzungen seines internen Code-Agenten zeigt Google, dass TODO-Kommentare zu Fehlern – die oft längst behoben sind – den Agenten zu ungefragten Umwegen verleiten. Diese verursachen 70 Prozent mehr Schritte, 77 Prozent mehr Tokens und 105 Prozent längere Wartezeiten.
Für einen Softwareentwickler ist ein vor drei Jahren vergessener Kommentar TODO(bug/1234) bloßes Rauschen, das er kaum noch wahrnimmt. Für einen Code-Agenten ist es eine Aufforderung zum Handeln. Eine am 6. November veröffentlichte Analyse im Entwicklerblog von Google beziffert im großen Maßstab, was diese alten Überreste kosten, wenn Agenten die Codebasis durchforsten.
Ein einfacher Indikator: TODOs mit Bug-Bezug
Die „Ablenkungen“ eines Agenten bei Millionen von Sitzungen manuell zu messen, ist unmöglich. Die Autoren Sam Saccone und Madhuri Garikapati fanden jedoch einen automatischen Indikator: Kommentare wie TODO(bug/...) und FIXME(bug/...), die auf ein Ticket verweisen, dessen Status bekannt ist. Indem jeder vom Agenten gefundene Kommentar mit dem Bug-Status und der ursprünglichen Anfrage des Entwicklers abgeglichen wird, lässt sich sinnvolle Arbeit von Umwegen unterscheiden.
Die Traces decken den internen Code-Agenten ab, der von Tausenden Entwicklern genutzt wird – das entspricht Hunderten Millionen Schritten. In 13 Prozent der Sitzungen, bei denen Dateien gelesen werden, stößt der Agent auf einen solchen Kommentar. In 94 Prozent der Fälle ignoriert er ihn. In 6 Prozent widmet er sich dem erwähnten Bug, und 83 Prozent dieser Aktionen erfolgten ohne vorherige Aufforderung.
Geschlossene Bugs und themenfremde Arbeit
Diese Umwege äußern sich auf zweierlei Weise. Mehr als zwei von fünf betreffen bereits geschlossene Tickets: seit Langem behobene Fehler (32 Prozent) oder verworfene Aufgaben (9 Prozent). In mehr als der Hälfte der Fälle ist der Fehler noch offen und der Agent erweitert eigenmächtig seinen Arbeitsbereich: Er recherchiert (61 Prozent) oder ändert Code (39 Prozent), den niemand zur Bearbeitung freigegeben hatte. Google nennt das Beispiel eines Agenten, der bei der Suche nach einem anderen Fehler ein bereits 2023 behobenes Ticket durchforstete, sowie eines weiteren, der eigenmächtig Code „korrigierte“, bevor der Entwickler intervenierte.
Die Konsequenzen sind eindeutig. Bei vergleichbarem Entwickler, identischer Code-Komplexität, gleichem Aufgabentyp und gleicher Modellstufe fallen bei einer Sitzung mit ungefragtem Umweg 70 Prozent mehr Schritte, 77 Prozent mehr Tokens und 105 Prozent mehr Wartezeit an.
Die Abhilfe: Aufräum-Agenten
Google setzt inzwischen Agenten ein, die Verweise auf geschlossene Bugs aufspüren und anschließend die Historie des Tickets, der Datei und des Codes – teils über mehrere Jahre hinweg – prüfen, bevor sie das Löschen vorschlagen. Innerhalb von sechs Monaten entfernten sie Tausende veraltete TODOs, wobei menschliche Reviewer in mehr als 95 Prozent der Fälle zustimmten.
Unsere Einschätzung
Die Studie verwandelt ein alltägliches Bauchgefühl in harte Zahlen: Dokumentationsschulden, die lange als harmlos galten, kosten nun handfeste Tokens und Wartezeiten. Das TODO dient dabei lediglich als praktischer Indikator; veraltete Spezifikationen oder lückenhafte Dokumentation dürften das gleiche Problem verursachen, sind jedoch schwerer messbar. Das Vorgehen lässt sich auch in kleineren Teams umsetzen: TODOs mit Verweisen auf geschlossene Tickets erfassen und im Code-Review zur Löschung vorschlagen. Zwei Einschränkungen bleiben jedoch: Alle Daten stammen aus Googles interner Umgebung mit ungenannten Modellen, und die Rohdaten sind nicht öffentlich zugänglich.
Quellen
Eine Primärquelle stammt direkt von dem betreffenden Unternehmen, Labor oder der Organisation. Eine Sekundärquelle gibt die Information wieder, ohne ihr Urheber zu sein: Wir kennzeichnen sie als solche. Einen Fehler entdeckt? Lesen Sie unsere Korrekturrichtlinie.
