Claude Code Agent IA Contrôle un iPhone Physique via les API d'Accessibilité
Un agent d'IA contrôle un iPhone physique pour écrire et publier du contenu sur Reddit sans saisie humaine. La démonstration utilise Claude Code (l'agent d'IA d'Anthropic) exécuté dans Blitz, une application Mac qui connecte les agents d'IA aux iPhones physiques.
Implémentation technique
Blitz fournit l'accès à un iPhone réel via WebDriverAgent, avec la navigation entièrement gérée par les API d'accessibilité. Le développeur a rencontré une limitation technique spécifique : les commandes d'appui normales ne fonctionnent pas sur les appareils physiques, renvoyant une erreur 404 "commande inconnue".
La solution découverte : un balayage à distance nulle (mêmes coordonnées de départ ET de fin) est enregistré comme un appui. Chaque pression de bouton dans la démonstration utilise cette astuce.
Processus étape par étape
- Appelé
describe_screenpour trouver les coordonnées de l'icône de Reddit sur l'écran d'accueil (scan_ui est réservé au simulateur, donc l'arborescence d'accessibilité a été utilisée à la place) - Balayage à distance nulle sur l'icône pour ouvrir Reddit
- Appuyé sur le bouton de recherche, vu r/ClaudeAI dans les recherches récentes, appuyé dessus
- Appuyé sur Créer, appuyé sur le champ du titre, tapé le titre
- Appuyé sur le champ du corps du message et a commencé à écrire
Chaque action suit le modèle : describe_screen → analyser les coordonnées → balayer(x, y, x, y). L'agent opère le téléphone "à l'aveugle", lisant le monde à travers une arborescence JSON d'accessibilité.
Le développeur note qu'il a également publié sur r/vibecoding à propos de la même session, où il a reçu des retours sur son choix initial de titre.
📖 Lire la source complète : r/ClaudeAI
👀 See Also
L'utilisateur d'OpenClaw automatise les interactions sur les applications de rencontre avec un agent IA.
Un utilisateur de Reddit a créé un agent OpenClaw qui gère les swipes, la gestion des conversations et le filtrage des matchs sur les applications de rencontre, rapportant plus de 500 swipes par jour et 3 fois plus de matchs après une semaine.
Architecture de l'Orchestrateur d'Agents Claude Code pour les Systèmes Multi-Agents
L'équipe Ultrathink gère un magasin opéré par IA où 6 agents Claude Code s'occupent de la conception, du code, du marketing et des opérations. Leur agent orchestreur coordonne le travail entre les agents spécialisés, gère les échecs et déploie automatiquement le code en production.
Utiliser Claude Haiku comme portier pour réduire les coûts de l'API Sonnet de 80 %
Un développeur a créé un pipeline en deux étapes utilisant Claude Haiku pour filtrer 85 % du texte non structuré avant d'envoyer uniquement le contenu pertinent à Claude Sonnet, réduisant les coûts d'API d'environ 80 % lors du traitement de milliers de commentaires.
Étude de cas One Good Thing : Construction d'un système d'art linéaire SwiftUI avec Claude Code
Un développeur a réalisé les illustrations au trait de son application iOS entièrement dans SwiftUI Canvas en utilisant Claude Code comme partenaire de codage. Leçon clé : traiter Claude comme un pair-programmeur patient, pas comme un distributeur automatique.