agent-desktopがVercel Labsへ移管：AIエージェントによるデスクトップアプリ操作を可能にするオープンソースツール

コンピューターを操作するAIエージェントは、画面をスクリーンショットとして「見て」、指定した座標をクリックする手法を採ることが多い。agent-desktopは別のアプローチを取る。このオープンソースツールは、アプリケーションがスクリーンリーダー向けに提供しているインターフェースの構造化記述であるシステムのアクセシビリティツリーを読み取る。このプロジェクトは2026年10月28日にバージョン1.0に到達し、10月30日に公開されたバージョン1.0.2のリリースノートにあるとおり、Vercel Labsの組織へ移管された。

観察、実行、検証

agent-desktopは、Rustで記述され、Apache 2.0ライセンスで公開されているmacOS、Windows、Linux向けのコマンドラインツール兼Cライブラリである。各システムのアクセシビリティAPI（macOSのAX、WindowsのUI Automation、LinuxのAT-SPI）を利用している。snapshotコマンドを実行すると、操作可能な各要素の安定したリファレンスを含むJSONが返される。エージェントはリファレンスを指定してクリックやテキスト入力を行い、再びスナップショットを取得して結果を検証する。

このツール自体はエージェントではない。言語モデルは一切組み込まれておらず、判断ループの処理は呼び出し側のエージェントに委ねられている。60のコマンド名（観察、クリック、入力、ウィンドウやアプリケーションの管理、クリップボード、通知など）を備え、npm install -g agent-desktopでインストール可能で、初回実行前に読み込むエージェント向けの専用指示書も提供されている。これはWebページを対象とするVercel Labsのツールagent-browserを補完するものであり、ChromiumやElectronベースのアプリケーション内のWebコンテンツについては、agent-browserへ制御を引き渡すこともできる。

制約事項

この手法はアプリケーション側のアクセシビリティ実装の品質に依存する。アクセシビリティツリーを公開していないインターフェースは認識できない。また、macOSではアクセシビリティの許可が必須であり、LinuxではAT-SPIを備えたグラフィカルセッションが必要で、マウス操作など一部のアクションはX11環境でのみ動作する。公式のHomebrewおよびScoopパッケージは現在申請中である。さらに、Vercelからの専用の公式発表はなく、開発者のlahfirによってリリースが公開されている本プロジェクトは、単なるリポジトリ移管によってVercel Labsに合流した形となっている。