bad-ass-mcp: アクセシビリティAPIによるネイティブデスクトップGUI制御のための無料オープンソースMCP

bad-ass-mcpは、オペレーティングシステムのネイティブアクセシビリティレイヤーを使用して、AIエージェントがデスクトップを直接制御できるMCPサーバーです。AnthropicのComputer UseやOpenAIのOperatorとは異なり、スクリーンショットベースの見て、動かして、見るサイクルに依存しません。また、UiPathとは異なり、無料でオープンソースです。

仕組み

スクリーンショットを解析する代わりに、bad-ass-mcpはスクリーンリーダーが使用するのと同じアクセシビリティAPIを使用します。これにより、ビジョンベースのアプローチよりも高速かつ確実にナビゲート、ポイント、クリック、入力できます。開発者によると、WebViewフレームワーク（Electron、Tauriなど）はアクセシビリティの露出が不十分ですが、それでもツールは動作し、スクリーンショットを撮るよりも高速です。彼らはアクセシビリティサポートを改善するプロジェクトを推進しており、これにより視覚障害者も恩恵を受けます。

主な機能

• macOS、Windows、LinuxでGUIアプリケーションを制御
• GUIアプリを自律的に操作・テスト
• 複数のアプリやワークステーション間でのワークフローを効率化
• 自身の操作を録画し、ビデオとして保存（デモ動画で確認可能）

使用例

開発者は、Adobe Premiere Proでショットタイプ別にBロールを整理したり、DaVinci Resolveでカラーグレーディングを行うデモを計画しています。このツールは自身の操作を録画し、簡単なデモでビデオを保存しました。

対象ユーザー

高価なエンタープライズツールや遅いスクリーンショットベースのアプローチを使わずに、デスクトップGUIタスクを自動化する必要があるAIコーディングエージェントを使用する開発者向け。