bad-ass-mcp: MCP gratuito e de código aberto para controle nativo de GUI de desktop via API de acessibilidade

bad-ass-mcp é um servidor MCP que dá aos agentes de IA controle direto sobre sua área de trabalho usando a camada de acessibilidade nativa do sistema operacional. Diferente do Computer Use da Anthropic ou do Operator da OpenAI, ele não depende de ciclos baseados em capturas de tela do tipo olhar-mover-olhar, e ao contrário do UiPath, é gratuito e de código aberto.

Como funciona

Em vez de analisar capturas de tela, o bad-ass-mcp usa a mesma API de acessibilidade que os leitores de tela utilizam. Isso significa que ele pode navegar, apontar, clicar e digitar de forma mais rápida e confiável do que abordagens baseadas em visão. O desenvolvedor observa que frameworks WebView (Electron, Tauri, etc.) têm baixa exposição de acessibilidade, mas a ferramenta ainda funciona — e é mais rápida do que tirar uma captura de tela. Eles estão pressionando projetos para melhorar o suporte à acessibilidade, o que também beneficia usuários com deficiência visual.

Principais capacidades

• Controlar aplicativos GUI em macOS, Windows e Linux
• Interagir e testar aplicativos GUI de forma autônoma
• Otimizar fluxos de trabalho em vários aplicativos e estações de trabalho
• Gravar e salvar vídeo de suas próprias ações (conforme mostrado no vídeo de demonstração)

Exemplos de uso

O desenvolvedor planeja demonstrar a organização de imagens de apoio por tipo de tomada no Adobe Premiere Pro e a correção de cores no DaVinci Resolve. A ferramenta se gravou e salvou o vídeo em uma demonstração simples.

Para quem é

Desenvolvedores que usam agentes de IA de codificação e precisam automatizar tarefas GUI de desktop sem ferramentas empresariais caras ou abordagens lentas baseadas em capturas de tela.