Google: los viejos TODO en el código desvían a sus agentes, sumando un 77% más de tokens por sesión
Al analizar millones de sesiones de su agente de código interno, Google demuestra que los comentarios TODO vinculados a errores, a menudo ya solucionados, empujan al agente hacia desvíos no solicitados que suponen un 70% más de pasos, un 77% más de tokens y un 105% más de tiempo de espera.
Para un desarrollador, un comentario TODO(bug/1234) olvidado desde hace tres años no es más que ruido que ya ni percibe. Para un agente de código, es una invitación a actuar. Un análisis publicado el 6 de noviembre en el blog para desarrolladores de Google cuantifica, a gran escala, cuánto cuestan estos viejos restos cuando los agentes examinan el código.
Un indicador sencillo: los TODO vinculados a un error
Medir manualmente las «distracciones» de un agente resulta inviable a lo largo de millones de sesiones. Los autores, Sam Saccone y Madhuri Garikapati, dieron con un indicador automatizado: los comentarios TODO(bug/...) y FIXME(bug/...), que apuntan a una incidencia de la que se conoce el estado. Al cruzar cada comentario con el que se topa el agente con el estado del error y la petición inicial del desarrollador, es posible distinguir el trabajo útil de los desvíos.
Los registros cubren el agente de código interno empleado por miles de ingenieros, lo que supone cientos de millones de pasos. El 13% de las sesiones de lectura de archivos se encuentra con un comentario de este tipo. En el 94% de los casos, el agente lo pasa por alto. En el 6%, actúa sobre el error mencionado, y el 83% de estas acciones no había sido solicitado.
Errores cerrados y tareas fuera de lugar
Estos desvíos adoptan dos vertientes. Más de dos de cada cinco apuntan a incidencias ya cerradas: errores subsanados hace tiempo (32%) o descartados (9%). En más de la mitad de los casos, el error sigue abierto y el agente amplía el alcance de su trabajo: indaga (61%) o modifica código (39%) que nadie le había pedido tocar. Google menciona el caso de un agente que, mientras buscaba otro fallo, se desvió a examinar una incidencia resuelta en 2023, y el de otro que «corrigió» código por iniciativa propia antes de que el desarrollador lo objetara.
La factura es contundente. A igualdad de desarrollador, complejidad de código, tipo de tarea y nivel de modelo, una sesión con un desvío no solicitado acumula un 70% más de pasos, un 77% más de tokens y un 105% más de tiempo de espera.
El remedio: agentes de limpieza
Google ha puesto en marcha agentes encargados de detectar las referencias a errores cerrados para examinar después el historial de la incidencia, del archivo y del código —en ocasiones a lo largo de varios años— antes de sugerir su supresión. En seis meses, han eliminado miles de TODO obsoletos, con una tasa de aceptación superior al 95% por parte de los revisores humanos.
Nuestro análisis
El estudio transforma una intuición habitual en una factura tangible: la deuda documental, considerada inofensiva durante mucho tiempo, ahora se paga en tokens y minutos de espera. El TODO es solo un indicador accesible; es probable que las especificaciones desfasadas o la documentación atrasada planteen el mismo dilema, aunque resulten más difíciles de medir. La fórmula es aplicable por un equipo pequeño: listar los TODO que apunten a incidencias cerradas y proponer su eliminación mediante revisión de código. Existen dos limitaciones: todo procede del entorno interno de Google, con modelos no especificados, y no se han hecho públicos los datos brutos.
Fuentes
Una fuente primaria procede directamente de la empresa, el laboratorio o la organización implicados. Una fuente secundaria recoge la información sin ser su autora: la señalamos como tal. ¿Has visto un error? Consulta nuestra política de correcciones.
