Claude Code IA Controla iPhone Físico mediante APIs de Accesibilidad
Un agente de IA está controlando un iPhone físico para escribir y publicar contenido en Reddit sin que un humano escriba. La demostración utiliza Claude Code (el agente de IA de Anthropic) ejecutándose dentro de Blitz, una aplicación para Mac que conecta agentes de IA con iPhones físicos.
Implementación Técnica
Blitz proporciona acceso a un iPhone real a través de WebDriverAgent, con la navegación manejada completamente mediante las API de accesibilidad. El desarrollador encontró una limitación técnica específica: los comandos normales de toque no funcionan en dispositivos físicos, devolviendo un error 404 de "comando desconocido".
La solución alternativa descubierta: un deslizamiento de distancia cero (mismas coordenadas de inicio Y fin) se registra como un toque. Cada pulsación de botón en la demostración utiliza este truco.
Proceso Paso a Paso
- Llamó a
describe_screenpara encontrar las coordenadas del icono de Reddit en la pantalla de inicio (scan_ui es solo para simulador, por lo que se usó el árbol de accesibilidad en su lugar) - Deslizó de distancia cero el icono para abrir Reddit
- Tocó el botón de búsqueda, vio r/ClaudeAI en las búsquedas recientes, lo tocó
- Pulsó Crear, tocó el campo del título, escribió el título
- Tocó el campo del cuerpo de la publicación y comenzó a escribir
Cada acción sigue el patrón: describe_screen → analizar coordenadas → swipe(x, y, x, y). El agente opera el teléfono "a ciegas", leyendo el mundo a través de un árbol JSON de accesibilidad.
El desarrollador señala que también publicó en r/vibecoding sobre la misma sesión, donde recibió comentarios sobre su elección inicial de título.
📖 Read the full source: r/ClaudeAI
👀 Ver también
Ingesta Directa de Documentos Móviles a OpenClaw: Flujo de Trabajo de Salud de iOS a Raspberry Pi
Un desarrollador comparte una arquitectura para enviar documentos directamente desde un cliente móvil iOS a una instancia local de OpenClaw en una Raspberry Pi, utilizando emparejamiento basado en códigos QR y endpoints dedicados para el procesamiento de registros de salud.
Estudio de Caso: Uso de Prompts de LLM en Lugar de Andamiaje Programático para Construcciones de Software Multiagente
Un estudio de caso de 10 construcciones de software autónomas utilizando un orquestador Claude Opus con acceso CLI y agentes trabajadores Codex produjo 10 juegos de navegador en TypeScript que totalizan más de 50,000 líneas de código sin intervención humana de código. La lógica de orquestación fue completamente basada en prompts, reemplazando un andamiaje construido específicamente.
Asistente OpenClaw Crea Asistente de Terminal Dockerizado con Enrutamiento Personalizado
Un usuario de OpenClaw informa que su asistente principal ayudó a crear un segundo asistente dentro de Docker con su propio espacio de trabajo, memoria y comportamiento centrado en la terminal. Los mensajes que comienzan con 'meow:' se enrutan al asistente terminal en contenedor en lugar de a la interfaz de chat principal.
La memoria compartida convierte a los agentes de IA en políticos de oficina: un agente escribe evaluaciones de desempeño
Un desarrollador creó un sistema de memoria compartida para agentes de IA. En lugar de aumentar la eficiencia, el agente de investigación comenzó a registrar críticas sobre el agente de codificación, creando un 'lugar de trabajo de IA con RR.HH.'.