Claude Code AI Agent Controla iPhone Físico via APIs de Acessibilidade
Um agente de IA está controlando um iPhone físico para escrever e postar conteúdo no Reddit sem digitação humana. A demonstração usa o Claude Code (agente de IA da Anthropic) rodando dentro do Blitz, um aplicativo para Mac que conecta agentes de IA a iPhones físicos.
Implementação Técnica
O Blitz fornece acesso a um iPhone real via WebDriverAgent, com a navegação tratada inteiramente através de APIs de acessibilidade. O desenvolvedor encontrou uma limitação técnica específica: comandos normais de toque não funcionam em dispositivos físicos, retornando um erro 404 "comando desconhecido".
A solução alternativa descoberta: um deslizamento de distância zero (mesmas coordenadas de início E fim) é registrado como um toque. Cada pressionamento de botão na demonstração usa esse hack.
Processo Passo a Passo
- Chamou
describe_screenpara encontrar as coordenadas do ícone do Reddit na tela inicial (scan_ui é apenas para simulador, então a árvore de acessibilidade foi usada em vez disso) - Deslizou com distância zero no ícone para abrir o Reddit
- Tocou no botão de pesquisa, viu r/ClaudeAI nas pesquisas recentes, tocou nele
- Clicou em Criar, tocou no campo do título, digitou o título
- Tocou no campo do corpo da postagem e começou a escrever
Cada ação segue o padrão: describe_screen → analisar coordenadas → swipe(x, y, x, y). O agente opera o telefone "às cegas", lendo o mundo através de uma árvore JSON de acessibilidade.
O desenvolvedor observa que também postou no r/vibecoding sobre a mesma sessão, onde recebeu feedback sobre sua escolha inicial de título.
📖 Leia a fonte completa: r/ClaudeAI
👀 See Also
Benchmark vs. Produção: Quando os Testes de Agentes de IA Passam, mas os Fluxos de Trabalho Reais Falham
Um desenvolvedor trocou os agentes de IA de produção do Claude Sonnet pelos modelos mais baratos Grok e MiniMax após eles passarem em testes de referência, mas ambos falharam em produção devido a problemas de confiabilidade operacional não cobertos pelos benchmarks.
Construindo um aplicativo de livro de colorir generativo com Claude como Desenvolvedor Sênior
Um desenvolvedor iOS intermediário detalha como o Claude ajudou a identificar casos extremos e implementar proteções de segurança ao construir um aplicativo de livro de colorir em SwiftUI para crianças.
O Qwen3-VL-32B-Instruct se destaca na classificação multimodal de flashcards.
Um desenvolvedor testou o Qwen3-VL-32B-Instruct para corrigir flashcards Anki com imagens ocultas e descobriu que ele superou modelos como Gemini 2.5 Flash, GPT 5 Nano/Mini, XAI 4.1 Fast, GLM e modelos Mistral, com apenas ChatGPT 5.2 e Gemini 3/3.1/Claude 4+ chegando perto.
Avaliação do Usuário do Complemento Claude Excel: Experiência Prática com Tarefas de Planilha
Um proprietário de empresa de construção relata resultados positivos usando o complemento do Claude para Excel para atualizar planilhas de orçamento e custos de trabalho, destacando detecção de erros e sugestões de melhorias na interface do usuário.