Agent-desktop é uma CLI de automação de desktop nativa construída com Rust, projetada para agentes de IA que precisam controlar aplicativos de desktop programaticamente. Em vez da abordagem comum baseada em capturas de tela (tirar screenshot, prever coordenadas de pixel, clicar, repetir), ele interage através das árvores de acessibilidade do sistema operacional — os mesmos dados estruturados que os leitores de tela usam. Isso significa que o modelo vê funções de elemento, nomes, hierarquia e estado diretamente, tornando as interações mais rápidas, baratas e mais robustas a mudanças na interface.

Principais Recursos

• Binário Rust único (~15 MB), sem dependências de runtime
• 53 comandos cobrindo observação, interação, teclado, mouse, notificações, área de transferência e gerenciamento de janelas
• Saída JSON — legível por máquina com códigos de erro e dicas de recuperação
• Cadeia de ativação com prioridade de acessibilidade: usa estratégias de API de acessibilidade pura antes de recorrer a eventos de mouse
• Referências determinísticas de elementos (ex.: @e1, @e2) com reidentificação otimista em mudanças de interface
• Travessia progressiva do esqueleto: árvore rasa primeiro (profundidade ~3), anotada com children_count, depois aprofundamento em regiões específicas
• Suporte para janelas, menus, folhas, popovers, alertas e notificações
• Tratamento especial para árvores de acessibilidade Chromium/Electron para reduzir ruído
• C ABI via cdylib — pode ser carregado diretamente de Python, Swift, Go, Node, Ruby ou C sem invocar subprocessos por comando

Fluxo de Trabalho Típico

Para aplicativos densos como Slack ou VS Code, use a travessia progressiva do esqueleto para minimizar o uso de tokens:

# 1. Visão geral rasa — mapa de profundidade 3, containers truncados mostram children_count
agent-desktop snapshot --skeleton --app Slack -i --compact

2. Aprofunde em uma região de interesse (containers nomeados ganham referências)
agent-desktop snapshot --root @e3 -i --compact
3. Aja sobre um elemento encontrado no aprofundamento
agent-desktop click @e12
4. Re-aprofunde na mesma região para verificar mudança de estado
agent-desktop snapshot --root @e3 -i --compact

Para aplicativos mais simples, um snapshot completo funciona bem: agent-desktop snapshot --app Finder -i.

Instalação

npm install -g agent-desktop
# Ou use npx: npx agent-desktop snapshot --app Finder -i
# A partir do código-fonte: cargo build --release

Estatísticas de Desempenho

Na prática, a abordagem progressiva do esqueleto reduziu o uso de tokens em 78% a 96% em comparação com dumps completos da árvore em aplicativos Electron como Slack, VS Code e Notion. Por exemplo, a árvore de acessibilidade completa do Slack pode exceder 50.000 tokens — impraticável para a maioria dos contextos de LLM.

Para Quem é

Desenvolvedores construindo agentes de desktop, ferramentas de automação internas ou protótipos de pesquisa que desejam evitar o custo e a fragilidade dos loops de controle baseados em capturas de tela.