agent-desktop passa para a Vercel Labs: uma ferramenta de código aberto para que agentes controlem aplicativos desktop
O agent-desktop, uma ferramenta em Rust que permite a agentes de IA lerem e usarem aplicativos desktop por meio da árvore de acessibilidade do sistema em vez de capturas de tela, atingiu a versão 1.0 em 28 de outubro e foi transferido para a organização Vercel Labs. O projeto funciona no macOS, Windows e Linux.
Agentes de IA que usam um computador frequentemente “olham” para a tela na forma de capturas de tela e depois clicam em coordenadas. O agent-desktop segue outro caminho: esta ferramenta de código aberto lê a árvore de acessibilidade do sistema, a descrição estruturada da interface que os aplicativos já disponibilizam para leitores de tela. O projeto alcançou a versão 1.0 em 28 de outubro de 2026 e foi transferido para a organização Vercel Labs, como indicam as notas da versão 1.0.2, publicada em 30 de outubro.
Observar, agir, verificar
O agent-desktop é uma ferramenta de linha de comando e uma biblioteca C, escritas em Rust e lançadas sob licença Apache 2.0, para macOS, Windows e Linux. Ele se baseia na API de acessibilidade de cada sistema operacional: AX no macOS, UI Automation no Windows e AT-SPI no Linux. O comando snapshot retorna um JSON com uma referência estável para cada elemento sobre o qual se pode agir; o agente clica ou digita um texto usando essa referência e, em seguida, gera uma nova captura para conferir o resultado.
A ferramenta não é um agente: ela não inclui nenhum modelo de linguagem e delega o ciclo de decisão ao agente que a executa. O utilitário conta com 60 nomes de comandos (observar, clicar, digitar, gerenciar janelas e aplicativos, área de transferência, notificações…), é instalado via npm install -g agent-desktop e traz instruções próprias voltadas a agentes, prontas para serem carregadas antes do primeiro uso. Ele complementa o agent-browser, ferramenta da Vercel Labs voltada a páginas web, e pode repassar o controle a ele no caso de conteúdo web em aplicativos Chromium ou Electron.
Os limites
A abordagem depende da qualidade da acessibilidade dos aplicativos: uma interface que não expõe uma árvore de acessibilidade permanece invisível. O macOS exige a permissão de Acessibilidade; no Linux, é necessária uma sessão gráfica com AT-SPI, e certas ações, como o controle do mouse, funcionam apenas sob o X11. Os pacotes oficiais do Homebrew e do Scoop ainda estão em processo de envio. Por fim, a Vercel não fez nenhum anúncio dedicado: o projeto, cujas versões são publicadas pelo desenvolvedor lahfir, entrou para a Vercel Labs por meio de uma simples transferência de repositório.
Nossa leitura
Ler a árvore de acessibilidade em vez de capturas de tela torna as ações do agente mais confiáveis e fáceis de conferir: uma referência de elemento não varia como uma coordenada de clique. A contrapartida é bem conhecida por quem utiliza leitores de tela: muitos aplicativos implementam mal a sua interface para acessibilidade, e a ferramenta não conseguirá enxergar nada neles. Ao adotá-lo na Vercel Labs, ao lado do agent-browser, a Vercel consolida uma pilha completa para fazer agentes operarem na web e no desktop, em um território disputado pelas funções de uso de computador dos grandes laboratórios de IA.
Fontes
- GitHub — vercel-labs/agent-desktop Fonte primária
- GitHub — Lançamentos de vercel-labs/agent-desktop (v1.0.0 a v1.0.2) Fonte primária
- agent-browser.dev — documentação de agent-desktop Fonte primária
Uma fonte primária vem diretamente da empresa, do laboratório ou da organização envolvida. Uma fonte secundária relata a informação sem ser a sua autora: nós a sinalizamos como tal. Encontrou um erro? Consulte nossa política de correções.
