Создание голосового помощника с использованием OpenClaw, Alexa и локальной LLM

Разработчик поделился реализацией голосового ассистента, который использует OpenClaw в качестве основы для AI-агента, интегрирован с Alexa для голосового взаимодействия и локальной LLM для экономичной обработки запросов.

Как это работает

Система активируется командой "Alexa, открой Lucy" через пользовательский навык Alexa. Запросы обрабатываются через четырёхуровневую систему маршрутизации:

• Быстрый путь (0 мс): Обрабатывает время, дату и жёстко заданные ответы
• Локальная LLM Ollama (<1 с): Использует Qwen 2.5 3B для общих запросов, работает на Mac Mini с Apple Silicon
• Агент Claude (5-12 с): Обрабатывает личный контекст, память и сложные рассуждения
• Отложенные + инструменты (до 2 мин): Управляет электронной почтой, веб-поиском и запросами к базе данных через Home Assistant TTS

Ответы возвращаются на то же устройство Alexa, которое инициировало запрос, автоматически определяемое через функцию last_called в Home Assistant. Система использует Piper TTS на Home Assistant для нейронного испанского голосового вывода на колонках Sonos и может предоставлять утренние сводки с рыночными данными, информацией из календаря и бизнес-метриками.

Технологический стек

• OpenClaw: Основа для AI-агента с поддержкой Telegram, Alexa и голосовых интерфейсов
• Пользовательский навык Alexa: Прокси на Node.js с аутентификацией по PIN-коду и цепочками сессий
• Ollama + Qwen 2.5 3B: Локальная LLM, обеспечивающая ответы за ~0,5 с
• Home Assistant: Интегрирует Alexa Media Player, Piper TTS и маршрутизацию устройств
• Piper TTS: Нейронный испанский голос для колонок Sonos

Ключевые детали реализации

Разработчик обнаружил, что использование локальной LLM экономит примерно 80% затрат на API для простых вопросов, не требующих Claude. Однако он отметил, что локальные модели "свободно галлюцинируют" и добавил обходной фильтр для бизнес- и финансовых запросов.

Распознавание речи Alexa было определено как узкое место, причём AMAZON.SearchQuery и несколько примеров высказываний помогли повысить точность. Аутентификация использует userId вместо sessionId, поскольку Alexa создаёт новые сессии для каждого вызова. Разработчик сохраняет аутентификацию в файл, потому что карты в памяти не сохраняются при перезапуске прокси.

Код прокси доступен как открытый исходный код: openclaw-alexa-voice. Планы на будущее включают обнаружение слова пробуждения ("Hey Lucy"), управление умным домом и маршрутизацию динамиков на основе присутствия.