Vercel LabsがAIエージェントにPC操作を可能にするagent-desktopを公開
2026年11月4日 · 読了 1 分
Vercel Labsは、AIエージェントがmacOS、Windows、Linux上のアプリケーションをバックグラウンドで操作できるようにするオープンソースツール、agent-desktopを発表しました。
このツールは、Claude CodeやCodexのようなコーディングエージェントに、コンピュータ操作能力を付与するコマンドラインインターフェースです。エージェントはこれを利用して、メモ、Finder、設定、Slackなどのアプリケーションを開き、ボタンのクリック、テキスト入力、メニュー操作、および結果の確認を行うことができます。
agent-desktopは、画面を視覚的に認識するのではなく、オペレーティングシステムのアクセシビリティ基盤を読み取って動作します。macOSではAX API、WindowsではUI Automation、LinuxではAT-SPIを通じてインターフェースをJSON形式で出力し、各要素に識別子を割り当てます。この手法は、ピクセルからボタンを推測する従来の方法よりも安定した結果を提供することを目指しています。
本ツール自体はAIエージェントではなく、言語モデルやユーザーインターフェースを保持していません。そのため、シェルコマンドを実行できるほぼすべてのエージェントと組み合わせて利用可能です。デフォルトでは不可視のヘッドレスモードで動作し、ユーザーがPCを使用している間もバックグラウンドで処理が行われます。また、複数のエージェントを同時に動作させるモードでは、各エージェントに個別の色付きカーソルが割り当てられます。
Rustで開発されたこのツールはApache 2.0ライセンスで提供され、npmを通じてインストール可能です。x64およびARM64プロセッサをサポートしており、Cライブラリも公開されています。全60個のコマンドのうち56個が現在動作しています。開発者は、インターフェースのダンプやクリップボードの内容に機密情報が含まれる可能性があるため、プライバシーに関する注意を呼びかけています。