ClawVibe: 온디바이스 STT/TTS를 갖춘 AI 에이전트용 핸즈프리 iOS 음성 비서

ClawVibe는 운전 중 완전히 핸즈프리로 AI 에이전트와 대화할 수 있는 네이티브 iOS 음성 비서입니다. 개발자는 45분 출퇴근 시간에 핸드폰을 손에 쥐는 솔루션은 안전하지 않고 웹 UI는 탭이 필요하다는 문제를 겪은 후 이 앱을 만들었습니다. 두 달간의 작업 끝에, 앱은 현재 TestFlight 베타 버전으로 제공되며 App Store에서 무료로 출시될 예정입니다.

주요 기술적 결정

핵심 아키텍처 선택: 모든 오디오 처리를 기기에서 수행합니다. 초기 버전은 음성 오디오를 서버로 스트리밍하여 텍스트로 변환했지만 모바일 네트워크에서 지연 시간 급증과 패킷 손실이 발생했습니다. 해결책은 음성 인식과 텍스트 음성 변환을 휴대폰에서 처리하고, 네트워크로는 평문 텍스트만 전송하는 것이었습니다. 이렇게 하면 연결 문제가 해결되어 수신이 거의 없는 지역에서도 작동합니다.

기기 내 처리는 백엔드에 과제를 안겼습니다: 대부분의 ML 모델은 Apple의 Metal 프레임워크(GPU 가속)를 사용하는데, Apple은 이를 백그라운드에서 실행하도록 허용하지 않습니다. 따라서 앱은 GPU 가속 없이 표준 CoreML로 폴백하여 화면이 꺼져 있을 때도 음성 감지 및 처리를 유지합니다. 이는 핸즈프리 사용을 위한 필요한 절충입니다.

배경 소음(GPS 길 안내, 대화, 라디오)도 또 다른 문제였습니다. 해결책은 음성 생체 인식입니다: 앱이 사용자의 음성 프로필을 학습하고 인식된 음성만 AI로 보냅니다. GPS 안내 및 기타 소음은 무시됩니다.

기능

• 기기 내 음성 인식: 로컬에서 변환됨; 오디오가 Apple이나 Google로 전송되지 않습니다. 텍스트만 AI 백엔드로 전달됩니다.
• 기기 내 TTS: 여러 음성 옵션, 휴대폰 또는 CarPlay 스피커로 출력.
• 상시 음성 감지: 버튼 누름이나 웨이크 워드 없이 사용자가 말하는 시점을 인지합니다.
• CarPlay 통합: 차량 내 완전 핸즈프리 — 앱을 만든 원래 이유.
• 주 음성 인식: 등록된 사용자의 음성만 AI를 트리거하며, 배경 소음은 걸러냅니다.
• GPS 컨텍스트: 각 메시지에 위치 데이터를 전송하여 위치 기반 응답 제공.

백엔드 및 출시

ClawVibe를 연결하려면 자체 AI 백엔드가 필요합니다. 여러 설정을 지원하며, 더 많은 통합이 진행 중입니다. 이미 OpenClaw 인스턴스를 운영 중이라면 바로 사용할 수 있습니다. 그렇지 않다면 로컬 기기 모델로 앱을 시험해볼 수 있습니다.

앱은 현재 TestFlight 베타 버전입니다. 무료 App Store 버전은 핵심 음성 경험을 제공합니다. 프리미엄 티어(추후 출시)에서는 더 많은 음성, 여러 음성 프로필, 확장된 CarPlay UI, Apple Watch 지원 등을 추가할 예정입니다.

대상 사용자

AI 에이전트를 자체 호스팅하고 운전이나 손이 바쁜 상황에서 프라이버시 중심의 핸즈프리 음성 인터페이스를 원하는 개발자.