OpenClaw, Alexa, 로컬 LLM으로 음성 어시스턴트 구축하기

한 개발자가 OpenClaw를 AI 에이전트 백본으로 사용하고, Alexa와 통합하여 음성 상호작용을 구현하며, 비용 효율적인 질의 처리를 위해 로컬 LLM을 활용한 음성 우선 어시스턴트 구현 사례를 공유했습니다.

작동 방식

시스템은 사용자 정의 Alexa 스킬에 "Alexa, Lucy 열어줘"라고 말하면 작동됩니다. 질의는 4단계 라우팅 시스템을 통해 처리됩니다:

• 빠른 경로 (0ms): 시간, 날짜 및 하드코딩된 응답 처리
• Ollama 로컬 LLM (<1s): Apple Silicon Mac Mini에서 실행되는 Qwen 2.5 3B를 사용한 일반 지식 질의 처리
• Claude 에이전트 (5-12s): 개인적 맥락, 기억 및 복잡한 추론 처리
• 지연 + 도구 (최대 2분): Home Assistant TTS를 통한 이메일, 웹 검색 및 데이터베이스 질의 관리

응답은 Home Assistant의 last_called 기능을 통해 자동 감지된 질의를 시작한 동일한 Alexa 장치로 반환됩니다. 시스템은 Sonos 스피커에서 신경망 기반 스페인어 음성 출력을 위해 Home Assistant의 Piper TTS를 사용하며, 시장 데이터, 캘린더 정보 및 비즈니스 지표를 포함한 아침 브리핑을 제공할 수 있습니다.

기술 스택

• OpenClaw: Telegram, Alexa 및 음성 인터페이스를 지원하는 AI 에이전트 백본
• Alexa 사용자 정의 스킬: PIN 인증 및 세션 체이닝이 포함된 Node.js 프록시
• Ollama + Qwen 2.5 3B: 약 0.5초 응답을 제공하는 로컬 LLM
• Home Assistant: Alexa Media Player, Piper TTS 및 장치 라우팅 통합
• Piper TTS: Sonos 스피커용 신경망 기반 스페인어 음성

주요 구현 세부사항

개발자는 Claude가 필요하지 않은 간단한 질문에 대해 로컬 LLM을 사용하면 API 비용의 약 80%를 절감할 수 있다는 사실을 발견했습니다. 그러나 로컬 모델이 "자유롭게 환각을 일으킨다"는 점을 지적하며 비즈니스 및 금융 질의에 대한 우회 필터를 추가했습니다.

Alexa 음성 인식이 병목 현상으로 확인되었으며, AMAZON.SearchQuery와 여러 샘플 발화가 정확도 향상에 도움이 되었습니다. 인증은 Alexa가 각 호출에 대해 새로운 세션을 생성하기 때문에 sessionId 대신 userId를 사용합니다. 개발자는 메모리 내 Map이 프록시 재시작 시 유지되지 않기 때문에 인증을 파일로 유지합니다.

프록시 코드는 오픈 소스로 제공됩니다: openclaw-alexa-voice. 향후 계획에는 웨이크 워드 감지("Hey Lucy"), 스마트 홈 제어 및 위치 기반 스피커 라우팅이 포함됩니다.