Claude Code AI Agent Controla iPhone Físico via APIs de Acessibilidade

Um agente de IA está controlando um iPhone físico para escrever e postar conteúdo no Reddit sem digitação humana. A demonstração usa o Claude Code (agente de IA da Anthropic) rodando dentro do Blitz, um aplicativo para Mac que conecta agentes de IA a iPhones físicos.

Implementação Técnica

O Blitz fornece acesso a um iPhone real via WebDriverAgent, com a navegação tratada inteiramente através de APIs de acessibilidade. O desenvolvedor encontrou uma limitação técnica específica: comandos normais de toque não funcionam em dispositivos físicos, retornando um erro 404 "comando desconhecido".

A solução alternativa descoberta: um deslizamento de distância zero (mesmas coordenadas de início E fim) é registrado como um toque. Cada pressionamento de botão na demonstração usa esse hack.

Processo Passo a Passo

• Chamou describe_screen para encontrar as coordenadas do ícone do Reddit na tela inicial (scan_ui é apenas para simulador, então a árvore de acessibilidade foi usada em vez disso)
• Deslizou com distância zero no ícone para abrir o Reddit
• Tocou no botão de pesquisa, viu r/ClaudeAI nas pesquisas recentes, tocou nele
• Clicou em Criar, tocou no campo do título, digitou o título
• Tocou no campo do corpo da postagem e começou a escrever

Cada ação segue o padrão: describe_screen → analisar coordenadas → swipe(x, y, x, y). O agente opera o telefone "às cegas", lendo o mundo através de uma árvore JSON de acessibilidade.

O desenvolvedor observa que também postou no r/vibecoding sobre a mesma sessão, onde recebeu feedback sobre sua escolha inicial de título.