Google: comentários TODO antigos no código distraem seus agentes, gerando 77% mais tokens por sessão
Ao analisar milhões de sessões de seu agente de código interno, o Google revela que comentários TODO vinculados a bugs, frequentemente já corrigidos, levam o agente a desvios não solicitados que custam 70% mais etapas, 77% mais tokens e 105% mais tempo de espera.
Para um desenvolvedor, um comentário TODO(bug/1234) esquecido há três anos é apenas ruído visual que ele nem percebe mais. Para um agente de código, é um convite à ação. Uma análise publicada em 6 de novembro no blog para desenvolvedores do Google quantifica, em larga escala, quanto custam essas sobras antigas quando agentes vasculham o código.
Um indicador simples: os TODOs vinculados a bugs
Medir manualmente as “distrações” de um agente é impossível em milhões de sessões. Os autores, Sam Saccone e Madhuri Garikapati, encontraram um indicador automatizável: os comentários TODO(bug/...) e FIXME(bug/...), que apontam para um ticket cujo status é conhecido. Ao cruzar cada comentário encontrado pelo agente com o status do bug e o pedido inicial do desenvolvedor, é possível separar o trabalho produtivo dos desvios.
Os registros cobrem o agente de código interno utilizado por milhares de engenheiros, somando centenas de milhões de etapas. Em 13% das sessões de leitura de arquivos, o agente se depara com um comentário desse tipo. Em 94% dos casos, ele o ignora. Em 6%, ele toma uma atitude com relação ao bug citado — e 83% dessas ações não haviam sido solicitadas.
Bugs fechados e trabalho fora de escopo
Esses desvios assumem duas formas. Mais de dois em cada cinco miram tickets já encerrados: bugs corrigidos há muito tempo (32%) ou abandonados (9%). Em mais da metade dos casos, o bug ainda está em aberto e o agente expande o escopo de seu trabalho: ele investiga (61%) ou altera código (39%) que ninguém pediu para tocar. O Google cita o exemplo de um agente que, ao procurar por outro bug, desviou para investigar um ticket corrigido em 2023, e outro que “corrigiu” código por iniciativa própria antes que o desenvolvedor contestasse.
A conta é pesada. Para um mesmo perfil de desenvolvedor, complexidade de código, tipo de tarefa e nível de modelo, uma sessão com desvio não solicitado consome 70% mais etapas, 77% mais tokens e 105% mais tempo de espera.
O remédio: agentes de faxina
O Google colocou em campo agentes encarregados de identificar referências a bugs encerrados e, em seguida, examinar o histórico do ticket, do arquivo e do código — às vezes ao longo de vários anos — antes de propor a remoção. Em seis meses, eles eliminaram milhares de TODOs obsoletos, com mais de 95% de aprovação dos revisores humanos.
Nossa leitura
O estudo transforma uma intuição prática em fatura: o débito documental, considerado inofensivo por muito tempo, agora é cobrado em tokens e minutos de espera. O TODO é apenas um indicador conveniente; especificações defasadas ou documentação desatualizada provavelmente geram o mesmo problema, mas são mais difíceis de mensurar. A receita é perfeitamente replicável por equipes menores: listar os TODOs que apontam para tickets fechados e sugerir sua remoção em revisão de código. Duas ressalvas: tudo vem do ambiente interno do Google, com modelos não identificados, e os dados brutos não foram divulgados.
Fontes
Uma fonte primária vem diretamente da empresa, do laboratório ou da organização envolvida. Uma fonte secundária relata a informação sem ser a sua autora: nós a sinalizamos como tal. Encontrou um erro? Consulte nossa política de correções.
