클로드 코드 AI 에이전트가 접근성 API를 통해 물리적 아이폰을 제어합니다

AI 에이전트가 인간의 타이핑 없이 물리적 iPhone을 제어하여 Reddit에 콘텐츠를 작성하고 게시하고 있습니다. 이 시연은 AI 에이전트를 물리적 iPhone에 연결하는 Mac 앱인 Blitz 내에서 실행되는 Claude Code(Anthropic의 AI 에이전트)를 사용합니다.

기술적 구현

Blitz는 WebDriverAgent를 통해 실제 iPhone에 대한 접근을 제공하며, 탐색은 전적으로 접근성 API를 통해 처리됩니다. 개발자는 특정 기술적 제한 사항을 발견했습니다: 일반적인 탭 명령이 물리적 장치에서 작동하지 않고 404 "알 수 없는 명령" 오류를 반환합니다.

발견된 해결책: 제로 거리 스와이프(동일한 시작 및 끝 좌표)가 탭으로 등록됩니다. 시연의 모든 버튼 누름은 이 해킹을 사용합니다.

단계별 과정

• describe_screen을 호출하여 홈 화면에서 Reddit 아이콘의 좌표를 찾음 (scan_ui는 시뮬레이터 전용이므로 대신 접근성 트리를 사용)
• 아이콘을 제로 거리 스와이프하여 Reddit 열기
• 검색 버튼을 탭하고 최근 검색에서 r/ClaudeAI를 보고 탭
• 생성 버튼을 누르고 제목 필드를 탭하여 제목 입력
• 게시물 본문 필드를 탭하고 작성 시작

모든 동작은 다음 패턴을 따릅니다: describe_screen → 좌표 파싱 → swipe(x, y, x, y). 에이전트는 접근성 JSON 트리를 통해 세상을 읽으며 "눈을 감고" 전화를 작동합니다.

개발자는 동일한 세션에 대해 r/vibecoding에도 게시했으며, 초기 제목 선택에 대한 피드백을 받았다고 언급합니다.