agent-desktop wechselt zu Vercel Labs: Ein Open-Source-Tool, mit dem KI-Agenten Desktop-Anwendungen steuern
agent-desktop, ein in Rust geschriebenes Werkzeug, mit dem KI-Agenten Desktop-Anwendungen über den Barrierefreiheitsbaum des Betriebssystems anstelle von Screenshots erfassen und bedienen können, hat am 28. Oktober Version 1.0 erreicht und wurde in die Organisation Vercel Labs überführt. Es funktioniert unter macOS, Windows und Linux.
KI-Agenten, die einen Computer bedienen, „betrachten“ den Bildschirm häufig über Screenshots und klicken anschließend auf bestimmte Koordinaten. agent-desktop geht einen anderen Weg: Dieses Open-Source-Tool liest den Barrierefreiheitsbaum des Betriebssystems aus – jene strukturierte Beschreibung der Benutzeroberfläche, die Anwendungen ohnehin für Screenreader bereitstellen. Das Projekt erreichte am 28. Oktober 2026 Version 1.0 und wurde in die Organisation Vercel Labs überführt, wie aus den Versionshinweisen zur Version 1.0.2 vom 30. Oktober hervorgeht.
Beobachten, handeln, überprüfen
agent-desktop ist ein Befehlszeilenwerkzeug und eine C-Bibliothek, entwickelt in Rust und veröffentlicht unter der Apache-2.0-Lizenz für macOS, Windows und Linux. Es nutzt die jeweilige Barrierefreiheits-API des Systems: AX unter macOS, UI Automation unter Windows, AT-SPI unter Linux. Der Befehl snapshot gibt JSON mit einer stabilen Referenz für jedes bedienbare Element zurück; der Agent klickt oder tippt über diese Referenz und erstellt danach einen erneuten Snapshot, um das Ergebnis zu prüfen.
Das Werkzeug ist selbst kein Agent: Es enthält kein eigenes Sprachmodell und überlässt die Entscheidungsschleife dem aufrufenden Agenten. Es umfasst 60 Befehlsnamen (Beobachten, Klicken, Tippen, Verwalten von Fenstern und Programmen, Zwischenablage, Benachrichtigungen usw.), lässt sich mit npm install -g agent-desktop installieren und liefert eigene Richtlinien für Agenten mit, die vor dem ersten Einsatz geladen werden sollten. Es ergänzt agent-browser, das auf Webseiten spezialisierte Werkzeug von Vercel Labs, und kann für Webinhalte in Chromium- oder Electron-Anwendungen direkt an dieses übergeben.
Die Grenzen
Dieser Ansatz steht und fällt mit der Qualität der Barrierefreiheit der Programme: Eine Oberfläche, die keinen Barrierefreiheitsbaum bereitstellt, bleibt unsichtbar. macOS erfordert die explizite Berechtigung für Bedienungshilfen; unter Linux ist eine grafische Sitzung mit AT-SPI nötig, und bestimmte Aktionen wie Mausinteraktionen funktionieren nur unter X11. Die offiziellen Homebrew- und Scoop-Pakete befinden sich derzeit noch im Einreichungsprozess. Zudem hat Vercel keine eigene Ankündigung veröffentlicht: Das Projekt, dessen Versionen vom Entwickler lahfir bereitgestellt werden, wechselte schlicht durch einen Repository-Transfer zu Vercel Labs.
Unsere Einschätzung
Den Barrierefreiheitsbaum anstelle von Screenshots auszulesen, macht die Aktionen eines Agenten zuverlässiger und einfacher zu überprüfen: Eine Elementreferenz verschiebt sich nicht wie eine Klickkoordinate. Die Kehrseite ist allen bekannt, die Screenreader nutzen: Viele Anwendungen bilden ihre Oberfläche nur unzureichend ab – in solchen Fällen bleibt das Werkzeug blind. Mit der Aufnahme in Vercel Labs an der Seite von agent-browser sichert sich Vercel einen vollständigen Stack für Agenten-Interaktionen im Web und auf dem Desktop und betritt damit ein Feld, das bisher von den Computer-Use-Funktionen der großen Forschungslabore dominiert wurde.
Quellen
- GitHub — vercel-labs/agent-desktop Primärquelle
- GitHub — Releases von vercel-labs/agent-desktop (v1.0.0 bis v1.0.2) Primärquelle
- agent-browser.dev — Dokumentation zu agent-desktop Primärquelle
Eine Primärquelle stammt direkt von dem betreffenden Unternehmen, Labor oder der Organisation. Eine Sekundärquelle gibt die Information wieder, ohne ihr Urheber zu sein: Wir kennzeichnen sie als solche. Einen Fehler entdeckt? Lesen Sie unsere Korrekturrichtlinie.
