Claude Code KI-Agent steuert physisches iPhone über Barrierefreiheits-APIs
Ein KI-Agent steuert ein physisches iPhone, um Inhalte auf Reddit zu schreiben und zu posten, ohne dass ein Mensch tippen muss. Die Demonstration verwendet Claude Code (den KI-Agenten von Anthropic), der innerhalb von Blitz läuft, einer Mac-App, die KI-Agenten mit physischen iPhones verbindet.
Technische Umsetzung
Blitz bietet über WebDriverAgent Zugriff auf ein echtes iPhone, wobei die Navigation vollständig über Barrierefreiheits-APIs erfolgt. Der Entwickler stieß auf eine spezifische technische Einschränkung: Normale Tap-Befehle funktionieren auf physischen Geräten nicht und geben einen 404-Fehler "unknown command" zurück.
Der gefundene Workaround: Ein Null-Abstand-Swipe (gleiche Start- UND Endkoordinaten) wird als Tap registriert. Jeder Tastendruck in der Demonstration verwendet diesen Hack.
Schritt-für-Schritt-Prozess
- Rufte
describe_screenauf, um die Koordinaten des Reddit-Icons auf dem Startbildschirm zu finden (scan_ui ist nur für Simulatoren, daher wurde stattdessen der Barrierefreiheitsbaum verwendet) - Null-Abstand-swipete das Icon, um Reddit zu öffnen
- Tappte die Suchschaltfläche, sah r/ClaudeAI in den letzten Suchen, tappte darauf
- Drückte Erstellen, tappte das Titelfeld, tippte den Titel
- Tappte das Post-Textfeld und begann zu schreiben
Jede Aktion folgt dem Muster: describe_screen → Koordinaten parsen → swipe(x, y, x, y). Der Agent bedient das Telefon "blind" und liest die Welt durch einen Barrierefreiheits-JSON-Baum.
Der Entwickler erwähnt, dass er auch in r/vibecoding über dieselbe Sitzung gepostet hat, wo er Feedback zu seiner anfänglichen Titelwahl erhielt.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
Hermes gegen OpenClaw: Benchmark bei realer Arbeit endet mit einer Gedächtnislektion
Ein Benutzer verglich Hermes und OpenClaw bei realen Aufgaben: Die Leistung war ähnlich, aber OpenClaws explizites Gedächtnis überzeugte, nachdem Hermes ein beiläufiges Kompliment übergeneralisiert hatte.
Vollautomatische Produkt-Tutorial-Videos: Claude + Playwright + Magic Hour + Remotion
Ein Entwickler hat eine pipeline ohne menschliches Zutun entwickelt, die eine Feature-URL in ein fertiges Tutorial-Video verwandelt. Dabei nutzt er Claude für Skript und Orchestrierung, Playwright für Bildschirmaufnahmen, die Magic Hour API für Gesichtstausch und Lippen-Sync sowie Remotion für die Bearbeitung.
OpenClaw gleicht Garmin-Geräte-Arbeitsblatt mit realem Aktivitätsverlauf ab
Ein Benutzer fütterte OpenClaw einen veralteten Screenshot der Garmin-App und ein leeres Arbeitsblatt; es holte den tatsächlichen Aktivitätsverlauf, gleichte jeden Eintrag ab und füllte das exakte 3-Tabellenblatt aus, das der Support verlangte.
Claude Opus 4.6 analysiert Buffett-Briefe, um blind Aktien auszuwählen
Ein Entwickler nutzte Claude Code mit Subagenten, um Warren Buffetts Anlageprinzipien aus 48 Jahren Aktionärsbriefen (561.849 Wörter) zu extrahieren und wandte sie dann an, um 50 anonymisierte Aktien zu bewerten. Opus 4.6 identifizierte korrekt 60 % der tatsächlichen Beteiligungen Berkshires in seinen Top-10-Auswahlen, während es Anti-Buffett-Kontrollen ablehnte.