Claude Code Agent IA Contrôle un iPhone Physique via les API d'Accessibilité

Un agent d'IA contrôle un iPhone physique pour écrire et publier du contenu sur Reddit sans saisie humaine. La démonstration utilise Claude Code (l'agent d'IA d'Anthropic) exécuté dans Blitz, une application Mac qui connecte les agents d'IA aux iPhones physiques.

Implémentation technique

Blitz fournit l'accès à un iPhone réel via WebDriverAgent, avec la navigation entièrement gérée par les API d'accessibilité. Le développeur a rencontré une limitation technique spécifique : les commandes d'appui normales ne fonctionnent pas sur les appareils physiques, renvoyant une erreur 404 "commande inconnue".

La solution découverte : un balayage à distance nulle (mêmes coordonnées de départ ET de fin) est enregistré comme un appui. Chaque pression de bouton dans la démonstration utilise cette astuce.

Processus étape par étape

• Appelé describe_screen pour trouver les coordonnées de l'icône de Reddit sur l'écran d'accueil (scan_ui est réservé au simulateur, donc l'arborescence d'accessibilité a été utilisée à la place)
• Balayage à distance nulle sur l'icône pour ouvrir Reddit
• Appuyé sur le bouton de recherche, vu r/ClaudeAI dans les recherches récentes, appuyé dessus
• Appuyé sur Créer, appuyé sur le champ du titre, tapé le titre
• Appuyé sur le champ du corps du message et a commencé à écrire

Chaque action suit le modèle : describe_screen → analyser les coordonnées → balayer(x, y, x, y). L'agent opère le téléphone "à l'aveugle", lisant le monde à travers une arborescence JSON d'accessibilité.

Le développeur note qu'il a également publié sur r/vibecoding à propos de la même session, où il a reçu des retours sur son choix initial de titre.