agent-desktop passa a Vercel Labs: uno strumento open source per consentire agli agenti di controllare le applicazioni desktop
agent-desktop, uno strumento in Rust che consente agli agenti di IA di leggere e utilizzare le applicazioni desktop tramite l'albero di accessibilità del sistema anziché tramite screenshot, ha raggiunto la versione 1.0 il 28 ottobre ed è stato trasferito nell'organizzazione Vercel Labs. Funziona su macOS, Windows e Linux.
Gli agenti di IA che utilizzano un computer spesso «guardano» lo schermo sotto forma di screenshot, per poi fare clic su determinate coordinate. agent-desktop segue un’altra strada: questo strumento open source legge l’albero di accessibilità del sistema, ovvero la descrizione strutturata dell’interfaccia che le applicazioni già espongono per gli screen reader. Il progetto ha raggiunto la versione 1.0 il 28 ottobre 2026 ed è stato trasferito nell’organizzazione Vercel Labs, come indicato nelle note della versione 1.0.2, pubblicata il 30 ottobre.
Osservare, agire, verificare
agent-desktop è uno strumento a riga di comando e una libreria C, scritti in Rust e distribuiti sotto licenza Apache 2.0, per macOS, Windows e Linux. Si basa sulle API di accessibilità di ciascun sistema: AX su macOS, UI Automation su Windows, AT-SPI su Linux. Un comando snapshot restituisce del JSON con un riferimento stabile per ogni elemento su cui è possibile agire; l’agente fa clic o inserisce testo su un riferimento, quindi acquisisce un nuovo snapshot per verificare il risultato.
Lo strumento non è un agente: non include alcun modello linguistico e lascia il ciclo decisionale all’agente che lo richiama. Dispone di 60 nomi di comandi (osservare, fare clic, digitare, gestire finestre e applicazioni, appunti, notifiche…), si installa con npm install -g agent-desktop e fornisce le proprie istruzioni destinate agli agenti, da caricare prima del primo utilizzo. Si affianca ad agent-browser, lo strumento di Vercel Labs dedicato alle pagine web, e può cedergli il controllo per i contenuti web all’interno delle applicazioni Chromium o Electron.
I limiti
Questo approccio dipende dalla qualità dell’accessibilità delle applicazioni: un’interfaccia che non espone un albero di accessibilità rimane invisibile. macOS richiede l’autorizzazione Accessibilità; su Linux è necessaria una sessione grafica con AT-SPI, e alcune azioni, come l’uso del mouse, funzionano solo con X11. I pacchetti ufficiali per Homebrew e Scoop sono ancora in fase di invio. Infine, Vercel non ha pubblicato alcun annuncio dedicato: il progetto, le cui versioni sono rilasciate dallo sviluppatore lahfir, è passato a Vercel Labs tramite un semplice trasferimento di repository.
La nostra lettura
Leggere l’albero di accessibilità anziché gli screenshot rende le azioni di un agente più affidabili e più facili da verificare: il riferimento di un elemento non si sposta come può accadere alle coordinate di un clic. Il rovescio della medaglia è ben noto a chi utilizza uno screen reader: molte applicazioni espongono la propria interfaccia in modo inadeguato, e in questi casi lo strumento non rileverà nulla. Accogliendolo in Vercel Labs, al fianco di agent-browser, Vercel si dota di uno stack completo per consentire agli agenti di operare sia sul web che sul desktop, inserendosi in un settore già presidiato dalle funzionalità di controllo del computer sviluppate dai grandi laboratori.
Fonti
- GitHub — vercel-labs/agent-desktop Fonte primaria
- GitHub — Release di vercel-labs/agent-desktop (da v1.0.0 a v1.0.2) Fonte primaria
- agent-browser.dev — documentazione di agent-desktop Fonte primaria
Una fonte primaria proviene direttamente dall'azienda, dal laboratorio o dall'ente interessato. Una fonte secondaria riporta l'informazione senza esserne l'autrice: la segnaliamo come tale. Un errore? Consulta la nostra politica di rettifica.
