Claude Code KI-Agent steuert physisches iPhone über Barrierefreiheits-APIs

Ein KI-Agent steuert ein physisches iPhone, um Inhalte auf Reddit zu schreiben und zu posten, ohne dass ein Mensch tippen muss. Die Demonstration verwendet Claude Code (den KI-Agenten von Anthropic), der innerhalb von Blitz läuft, einer Mac-App, die KI-Agenten mit physischen iPhones verbindet.

Technische Umsetzung

Blitz bietet über WebDriverAgent Zugriff auf ein echtes iPhone, wobei die Navigation vollständig über Barrierefreiheits-APIs erfolgt. Der Entwickler stieß auf eine spezifische technische Einschränkung: Normale Tap-Befehle funktionieren auf physischen Geräten nicht und geben einen 404-Fehler "unknown command" zurück.

Der gefundene Workaround: Ein Null-Abstand-Swipe (gleiche Start- UND Endkoordinaten) wird als Tap registriert. Jeder Tastendruck in der Demonstration verwendet diesen Hack.

Schritt-für-Schritt-Prozess

• Rufte describe_screen auf, um die Koordinaten des Reddit-Icons auf dem Startbildschirm zu finden (scan_ui ist nur für Simulatoren, daher wurde stattdessen der Barrierefreiheitsbaum verwendet)
• Null-Abstand-swipete das Icon, um Reddit zu öffnen
• Tappte die Suchschaltfläche, sah r/ClaudeAI in den letzten Suchen, tappte darauf
• Drückte Erstellen, tappte das Titelfeld, tippte den Titel
• Tappte das Post-Textfeld und begann zu schreiben

Jede Aktion folgt dem Muster: describe_screen → Koordinaten parsen → swipe(x, y, x, y). Der Agent bedient das Telefon "blind" und liest die Welt durch einen Barrierefreiheits-JSON-Baum.

Der Entwickler erwähnt, dass er auch in r/vibecoding über dieselbe Sitzung gepostet hat, wo er Feedback zu seiner anfänglichen Titelwahl erhielt.