agent-desktop pasa a Vercel Labs: una herramienta de código abierto para que los agentes controlen aplicaciones de escritorio
agent-desktop, una herramienta en Rust que permite a los agentes de IA leer y utilizar aplicaciones de escritorio mediante el árbol de accesibilidad del sistema en lugar de capturas de pantalla, alcanzó la versión 1.0 el 28 de octubre y ha sido transferida a la organización Vercel Labs. Funciona en macOS, Windows y Linux.
Los agentes de IA que utilizan un ordenador suelen «mirar» la pantalla en forma de capturas y luego hacen clic en determinadas coordenadas. agent-desktop toma otro camino: esta herramienta de código abierto lee el árbol de accesibilidad del sistema, la descripción estructurada de la interfaz que las aplicaciones ya exponen para los lectores de pantalla. El proyecto alcanzó la versión 1.0 el 28 de octubre de 2026 y ha sido transferido a la organización Vercel Labs, tal como indican las notas de la versión 1.0.2, publicada el 30 de octubre.
Observar, actuar, verificar
agent-desktop es una herramienta de línea de comandos y una biblioteca C, escritas en Rust y publicadas bajo licencia Apache 2.0, para macOS, Windows y Linux. Se apoya en la API de accesibilidad de cada sistema: AX en macOS, UI Automation en Windows y AT-SPI en Linux. Un comando snapshot devuelve JSON con una referencia estable para cada elemento sobre el que se puede actuar; el agente hace clic o introduce texto sobre una referencia y, a continuación, vuelve a realizar una captura para verificar el resultado.
La herramienta no es un agente: no integra ningún modelo de lenguaje y deja el bucle de decisión en manos del agente que la invoca. Cuenta con 60 nombres de comandos (observar, hacer clic, escribir, gestionar ventanas y aplicaciones, portapapeles, notificaciones…), se instala con npm install -g agent-desktop y proporciona sus propias instrucciones destinadas a los agentes, para cargarlas antes del primer uso. Complementa a agent-browser, la herramienta de Vercel Labs dedicada a páginas web, y puede cederle el control para el contenido web de aplicaciones Chromium o Electron.
Los límites
Este enfoque depende de la calidad de la accesibilidad de las aplicaciones: una interfaz que no expone un árbol de accesibilidad sigue siendo invisible. macOS exige el permiso de Accesibilidad; en Linux, se necesita una sesión gráfica con AT-SPI, y ciertas acciones, como el uso del ratón, solo funcionan bajo X11. Los paquetes oficiales de Homebrew y Scoop todavía están en proceso de envío. Por último, Vercel no ha publicado un anuncio específico: el proyecto, cuyas versiones publica el desarrollador lahfir, pasó a Vercel Labs mediante una simple transferencia de repositorio.
Nuestro análisis
Leer el árbol de accesibilidad en lugar de capturas de pantalla hace que las acciones de un agente sean más fiables y más fáciles de verificar: la referencia de un elemento no se desvía como lo hace una coordenada de clic. La desventaja es bien conocida por las personas que utilizan lectores de pantalla: muchas aplicaciones exponen mal su interfaz y la herramienta no podrá ver nada en ellas. Al adoptarlo en Vercel Labs junto a agent-browser, Vercel se dota de una infraestructura completa para que los agentes actúen en la web y en el escritorio, en un terreno ocupado por las funciones de control del ordenador de los grandes laboratorios.
Fuentes
- GitHub — vercel-labs/agent-desktop Fuente primaria
- GitHub — Releases de vercel-labs/agent-desktop (v1.0.0 a v1.0.2) Fuente primaria
- agent-browser.dev — documentación de agent-desktop Fuente primaria
Una fuente primaria procede directamente de la empresa, el laboratorio o la organización implicados. Una fuente secundaria recoge la información sin ser su autora: la señalamos como tal. ¿Has visto un error? Consulta nuestra política de correcciones.
