Apple Silicon에서 AI 에이전트를 위한 로컬 음성 제어 설정

이 설정은 Parakeet STT와 Kokoro TTS를 Apple Silicon, 특히 Mac Mini M4에서 테스트하여 AI 에이전트에 대한 로컬 음성 제어를 구현하는 방법을 상세히 설명합니다. 목표는 클라우드 서비스에 대한 의존성을 제거하고 완전히 로컬이며 빠른 음성 상호 작용 계층을 구축하는 것이었습니다.

주요 세부 사항

• 하드웨어: OpenClaw + Claude를 AI 에이전트로 실행하는 Mac Mini M4.
• 소프트웨어 설정: 음성 입력을 약 240ms 내에 전사하는 음성-텍스트(STT)용 Parakeet와 거의 즉각적인 응답을 제공하는 텍스트-음성(TTS)용 Kokoro.
• 장점: 타이핑에서 음성 명령으로 전환하면 발코니나 개 산책 중과 같이 사무실에 구애받지 않고 작업할 수 있어 워크플로 유연성이 크게 향상됩니다.
• 과제: 가끔 STT가 악센트 인식에 어려움을 겪어, AI 에이전트가 사용자의 발음을 교정하는 재미있는 상황이 발생하기도 합니다.
• 개선 사항: Mimora라는 3D 아바타를 통합한 브라우저 확장 프로그램을 통해 시각적 상호 작용이 가능하며, 에이전트 응답 중 듣기, 생각하기, 행복한 상태 등 다양한 표정을 보여줍니다.

이 구성은 특히 Apple Silicon 하드웨어를 사용하여 클라우드 독립적이고 빠른 음성 상호 작용을 AI 에이전트와 원하는 사용자에게 이상적입니다.