Claude Code Agent IA Contrôle un iPhone Physique via les API d'Accessibilité
Un agent d'IA contrôle un iPhone physique pour écrire et publier du contenu sur Reddit sans saisie humaine. La démonstration utilise Claude Code (l'agent d'IA d'Anthropic) exécuté dans Blitz, une application Mac qui connecte les agents d'IA aux iPhones physiques.
Implémentation technique
Blitz fournit l'accès à un iPhone réel via WebDriverAgent, avec la navigation entièrement gérée par les API d'accessibilité. Le développeur a rencontré une limitation technique spécifique : les commandes d'appui normales ne fonctionnent pas sur les appareils physiques, renvoyant une erreur 404 "commande inconnue".
La solution découverte : un balayage à distance nulle (mêmes coordonnées de départ ET de fin) est enregistré comme un appui. Chaque pression de bouton dans la démonstration utilise cette astuce.
Processus étape par étape
- Appelé
describe_screenpour trouver les coordonnées de l'icône de Reddit sur l'écran d'accueil (scan_ui est réservé au simulateur, donc l'arborescence d'accessibilité a été utilisée à la place) - Balayage à distance nulle sur l'icône pour ouvrir Reddit
- Appuyé sur le bouton de recherche, vu r/ClaudeAI dans les recherches récentes, appuyé dessus
- Appuyé sur Créer, appuyé sur le champ du titre, tapé le titre
- Appuyé sur le champ du corps du message et a commencé à écrire
Chaque action suit le modèle : describe_screen → analyser les coordonnées → balayer(x, y, x, y). L'agent opère le téléphone "à l'aveugle", lisant le monde à travers une arborescence JSON d'accessibilité.
Le développeur note qu'il a également publié sur r/vibecoding à propos de la même session, où il a reçu des retours sur son choix initial de titre.
📖 Lire la source complète : r/ClaudeAI
👀 See Also
Comment j'ai créé 62 outils gratuits en un mois avec Claude Code + un script en boucle
Un développeur a publié 62 outils prêts pour le SEO, basés sur navigateur, en 30 jours, en utilisant un script shell appelé Ralph qui exécute Claude Code de manière autonome en couches, ainsi qu'un cook.sh parallèle pour exécuter plusieurs outils à la fois.
Un pipeline de prompts démontre des propriétés de méta-programmation.
Un développeur a créé un pipeline de prompts en quatre étapes pour une application Electron qui structurellement ressemble à un langage de programmation, avec des contrats typés, un flux de contrôle et une documentation automatique. Le système a corrigé 17 bugs et restructuré 1 218 lignes de code en une journée.
Développeur construit un serveur MCP avec Claude Code pour automatiser la recherche de terrains au Minnesota.
Un développeur avec une expérience en sécurité informatique et en ingénierie d'automatisation a utilisé Claude Code pour créer un serveur Python/FastMCP avec 7 outils qui extrait les annonces de terrains ruraux du Minnesota sur Zillow et LandWatch. Le système filtre les propriétés selon 10 critères dans 21 comtés et a trouvé 29 parcelles uniques lors de sa première exécution.
Processus de création vidéo OpenClaw : Réduction de l'automatisation à 80 % avec une qualité améliorée
Un développeur partage son flux de travail OpenClaw raffiné pour la création de vidéos animées, réduisant l'automatisation à 80 % tout en améliorant la qualité grâce à une meilleure ingénierie des prompts, la génération de multiples clips et des étapes de post-traitement manuelles.