Клод Код ИИ-агент управляет физическим iPhone через API доступности

ИИ-агент управляет физическим iPhone, чтобы писать и публиковать контент на Reddit без участия человека. Демонстрация использует Claude Code (ИИ-агент от Anthropic), работающий внутри Blitz — приложения для Mac, которое подключает ИИ-агентов к физическим iPhone.

Техническая реализация

Blitz предоставляет доступ к реальному iPhone через WebDriverAgent, причём навигация полностью осуществляется через API доступности. Разработчик столкнулся с конкретным техническим ограничением: обычные команды нажатия не работают на физических устройствах, возвращая ошибку 404 "unknown command".

Обходное решение, которое было обнаружено: свайп нулевой длины (одинаковые начальные И конечные координаты) регистрируется как нажатие. Каждое нажатие кнопки в демонстрации использует этот хак.

Пошаговый процесс

• Вызвал describe_screen, чтобы найти координаты иконки Reddit на домашнем экране (scan_ui работает только в симуляторе, поэтому вместо этого использовалось дерево доступности)
• Сделал свайп нулевой длины по иконке, чтобы открыть Reddit
• Нажал кнопку поиска, увидел r/ClaudeAI в недавних поисках, нажал на него
• Нажал Create, нажал на поле заголовка, ввёл заголовок
• Нажал на поле тела поста и начал писать

Каждое действие следует шаблону: describe_screen → парсинг координат → swipe(x, y, x, y). Агент управляет телефоном "вслепую", воспринимая мир через JSON-дерево доступности.

Разработчик отмечает, что также опубликовал пост в r/vibecoding о той же сессии, где получил отзывы о своём первоначальном выборе заголовка.