클로드 코드 AI 에이전트가 접근성 API를 통해 물리적 아이폰을 제어합니다
AI 에이전트가 인간의 타이핑 없이 물리적 iPhone을 제어하여 Reddit에 콘텐츠를 작성하고 게시하고 있습니다. 이 시연은 AI 에이전트를 물리적 iPhone에 연결하는 Mac 앱인 Blitz 내에서 실행되는 Claude Code(Anthropic의 AI 에이전트)를 사용합니다.
기술적 구현
Blitz는 WebDriverAgent를 통해 실제 iPhone에 대한 접근을 제공하며, 탐색은 전적으로 접근성 API를 통해 처리됩니다. 개발자는 특정 기술적 제한 사항을 발견했습니다: 일반적인 탭 명령이 물리적 장치에서 작동하지 않고 404 "알 수 없는 명령" 오류를 반환합니다.
발견된 해결책: 제로 거리 스와이프(동일한 시작 및 끝 좌표)가 탭으로 등록됩니다. 시연의 모든 버튼 누름은 이 해킹을 사용합니다.
단계별 과정
describe_screen을 호출하여 홈 화면에서 Reddit 아이콘의 좌표를 찾음 (scan_ui는 시뮬레이터 전용이므로 대신 접근성 트리를 사용)- 아이콘을 제로 거리 스와이프하여 Reddit 열기
- 검색 버튼을 탭하고 최근 검색에서 r/ClaudeAI를 보고 탭
- 생성 버튼을 누르고 제목 필드를 탭하여 제목 입력
- 게시물 본문 필드를 탭하고 작성 시작
모든 동작은 다음 패턴을 따릅니다: describe_screen → 좌표 파싱 → swipe(x, y, x, y). 에이전트는 접근성 JSON 트리를 통해 세상을 읽으며 "눈을 감고" 전화를 작동합니다.
개발자는 동일한 세션에 대해 r/vibecoding에도 게시했으며, 초기 제목 선택에 대한 피드백을 받았다고 언급합니다.
📖 전체 소스 읽기: r/ClaudeAI
👀 See Also
클로드를 위한 지속적인 개인 OS 구축: Notion + Shortcuts을 통한 심리 프로필, 목표 및 라이브 컨텍스트 주입
한 개발자가 Notion에 지속적인 개인 OS를 구축했습니다. 이 시스템은 iOS Shortcuts를 통해 800단어로 압축된 심리 프로필, 목표, 관계, 실시간 컨텍스트(위치, 시간, 캘린더, 날씨)를 모든 Claude API 호출에 주입하며, 매일 밤 디브리프 루프를 통해 컨텍스트를 최신 상태로 유지합니다.
오픈클로로 수익 창출을 위한 세 가지 실용적인 패턴
OpenClaw 사용자 100명을 분석한 결과 세 가지 일관된 접근 방식이 나타났습니다: 기존 지식을 AI 어시스턴트로 전환하기, 반복적인 연구 작업 자동화하기, AI 기능보다 시간 절약 결과를 판매하기.
OpenClaw 사례 연구: 10일 동안 인간의 개입 없이 이메일 수신함 관리하기
프리랜서 컨설턴트가 여행 중 10일 동안 OpenClaw에게 자신의 Gmail에 대한 전체 접근 권한을 부여하면서, 정확한 어조로 답장하고, 중요한 항목만 표시하며, 일상적인 작업을 자율적으로 처리하도록 지시했습니다. 이 시스템은 187개의 이메일을 처리하면서 단 한 건의 사소한 오류만 발생시켰습니다.
OpenClaw 24/7 운영: 지속적 자율 에이전트를 위한 실용적 아키텍처
개발자가 cron 작업을 통해 OpenClaw를 24/7 서버로 운영하는 검증된 솔루션을 공유합니다. 여기에는 주제별 분할 메모리 파일, 적극적인 세션 생명주기 관리, 복구 자리 표시자를 활용한 컨텍스트 정리, 구조화된 저장 및 충돌 복구를 위한 래퍼 도구 등이 포함됩니다.