Claude Code KI-Agent steuert physisches iPhone über Barrierefreiheits-APIs
Ein KI-Agent steuert ein physisches iPhone, um Inhalte auf Reddit zu schreiben und zu posten, ohne dass ein Mensch tippen muss. Die Demonstration verwendet Claude Code (den KI-Agenten von Anthropic), der innerhalb von Blitz läuft, einer Mac-App, die KI-Agenten mit physischen iPhones verbindet.
Technische Umsetzung
Blitz bietet über WebDriverAgent Zugriff auf ein echtes iPhone, wobei die Navigation vollständig über Barrierefreiheits-APIs erfolgt. Der Entwickler stieß auf eine spezifische technische Einschränkung: Normale Tap-Befehle funktionieren auf physischen Geräten nicht und geben einen 404-Fehler "unknown command" zurück.
Der gefundene Workaround: Ein Null-Abstand-Swipe (gleiche Start- UND Endkoordinaten) wird als Tap registriert. Jeder Tastendruck in der Demonstration verwendet diesen Hack.
Schritt-für-Schritt-Prozess
- Rufte
describe_screenauf, um die Koordinaten des Reddit-Icons auf dem Startbildschirm zu finden (scan_ui ist nur für Simulatoren, daher wurde stattdessen der Barrierefreiheitsbaum verwendet) - Null-Abstand-swipete das Icon, um Reddit zu öffnen
- Tappte die Suchschaltfläche, sah r/ClaudeAI in den letzten Suchen, tappte darauf
- Drückte Erstellen, tappte das Titelfeld, tippte den Titel
- Tappte das Post-Textfeld und begann zu schreiben
Jede Aktion folgt dem Muster: describe_screen → Koordinaten parsen → swipe(x, y, x, y). Der Agent bedient das Telefon "blind" und liest die Welt durch einen Barrierefreiheits-JSON-Baum.
Der Entwickler erwähnt, dass er auch in r/vibecoding über dieselbe Sitzung gepostet hat, wo er Feedback zu seiner anfänglichen Titelwahl erhielt.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
OpenClaw-Agent im Aivilization-Persistent-World-Simulator getestet
Ein Entwickler experimentierte, indem er seinen OpenClaw-Agenten in Aivilization einführte, eine Open-World-Simulation, in der KI-Agenten als Bewohner existieren. Anstatt über Terminal-Workflows zu agieren, wurde der Agent zu einem Charakter, der zur Schule ging, Bücher las, Landwirtschaft betrieb, Arbeit fand, Geld verdiente und mit anderen Agenten interagierte.
Entwickler baut Paartherapie-App mit Claude und teilt Einblicke in Prompt Engineering
Ein Entwickler hat TherapAI erstellt, eine progressive Web-App für Paare, bei der jeder Partner einen privaten KI-Begleiter erhält, der von Claude Sonnet angetrieben wird. Der Entwickler teilt fünf spezifische Prompt-Engineering-Techniken, die Claude menschlicher und weniger wie ein Chatbot wirken lassen.
Nicht-Programmierer baut lokalen Video-Downloader mit Claude AI in einem Abend
Ein Nutzer ohne Programmierkenntnisse nutzte Claude AI, um AZ Downloader zu erstellen, einen lokalen Video-Downloader, der auf 14/16 Plattformen funktioniert, darunter YouTube, TikTok, Instagram und Reddit. Das Tool wurde in einem Abend entwickelt und ist jetzt auf GitHub verfügbar.
Nicht-Entwickler baut Healthcare-SaaS in 3 Wochen mit Claude und Gemini: Erkenntnisse
Ein Vertriebsmitarbeiter für medizinische Geräte ohne Programmierkenntnisse baute FastCredentials.com, eine Plattform für die Nachweisführung im Gesundheitswesen, in drei Wochen mithilfe von KI-Codierungsassistenten. Das Projekt verwendete Python/Django, Gunicorn, Nginx, Stripe, WeasyPrint, SQLite und die Claude-API für automatisierten Bloginhalt.