agent-desktop passe chez Vercel Labs : un outil open source pour que les agents pilotent les applications de bureau
agent-desktop, un outil en Rust qui permet aux agents d'IA de lire et d'utiliser les applications de bureau via l'arbre d'accessibilité du système plutôt que par captures d'écran, a atteint la version 1.0 le 28 octobre et a été transféré dans l'organisation Vercel Labs. Il fonctionne sur macOS, Windows et Linux.
Les agents d’IA qui utilisent un ordinateur « regardent » souvent l’écran sous forme de captures, puis cliquent à des coordonnées. agent-desktop prend un autre chemin : cet outil open source lit l’arbre d’accessibilité du système, la description structurée de l’interface que les applications exposent déjà pour les lecteurs d’écran. Le projet a atteint la version 1.0 le 28 octobre 2026 et a été transféré dans l’organisation Vercel Labs, comme l’indiquent les notes de la version 1.0.2, publiée le 30 octobre.
Observer, agir, vérifier
agent-desktop est un outil en ligne de commande et une bibliothèque C, écrits en Rust et publiés sous licence Apache 2.0, pour macOS, Windows et Linux. Il s’appuie sur l’API d’accessibilité de chaque système : AX sur macOS, UI Automation sous Windows, AT-SPI sous Linux. Une commande snapshot renvoie du JSON avec une référence stable pour chaque élément sur lequel on peut agir ; l’agent clique ou saisit du texte sur une référence, puis refait une capture pour vérifier le résultat.
L’outil n’est pas un agent : il n’embarque aucun modèle de langage et laisse la boucle de décision à l’agent qui l’appelle. Il compte 60 noms de commandes (observer, cliquer, saisir, gérer fenêtres et applications, presse-papiers, notifications…), s’installe avec npm install -g agent-desktop et fournit ses propres consignes destinées aux agents, à charger avant la première utilisation. Il complète agent-browser, l’outil de Vercel Labs dédié aux pages web, et peut lui passer la main pour le contenu web des applications Chromium ou Electron.
Les limites
L’approche dépend de la qualité de l’accessibilité des applications : une interface qui n’expose pas d’arbre d’accessibilité reste invisible. macOS exige l’autorisation Accessibilité ; sous Linux, il faut une session graphique avec AT-SPI, et certaines actions, comme la souris, ne fonctionnent que sous X11. Les paquets Homebrew et Scoop officiels sont encore en cours de soumission. Enfin, Vercel n’a pas publié d’annonce dédiée : le projet, dont les versions sont publiées par le développeur lahfir, est passé dans Vercel Labs par un simple transfert de dépôt.
Notre lecture
Lire l’arbre d’accessibilité plutôt que des captures d’écran rend les actions d’un agent plus fiables et plus faciles à vérifier : une référence d’élément ne dérive pas comme une coordonnée de clic. Le revers est connu des personnes qui utilisent un lecteur d’écran : beaucoup d’applications exposent mal leur interface, et l’outil n’y verra rien. En l’adoptant dans Vercel Labs, aux côtés d’agent-browser, Vercel se dote d’une pile complète pour faire agir des agents sur le web et le bureau, sur un terrain occupé par les fonctions d’usage de l’ordinateur des grands laboratoires.
Sources
- GitHub — vercel-labs/agent-desktop Source primaire
- GitHub — Releases de vercel-labs/agent-desktop (v1.0.0 à v1.0.2) Source primaire
- agent-browser.dev — documentation d'agent-desktop Source primaire
Une source primaire émane directement de l'entreprise, du laboratoire ou de l'organisme concerné. Une source secondaire rapporte l'information sans en être l'auteur : nous la signalons comme telle. Une erreur ? Consultez notre politique de correction.
