ClawVibe: Бесплатный голосовой ассистент для iOS для AI-агентов с STT/TTS на устройстве

ClawVibe — это нативный голосовой ассистент для iOS, который позволяет общаться с вашим AI-агентом полностью без помощи рук, созданный для использования за рулём. Разработчик создал его, столкнувшись с проблемой 45-минутной поездки на работу, где решения с телефоном в руках были небезопасны, а веб-интерфейсы требовали нажатий. После двух месяцев работы приложение теперь доступно в бета-версии TestFlight и будет бесплатным в App Store.

Ключевые технические решения

Основной архитектурный выбор: перенести всю обработку звука на устройство. Первая версия передавала голосовой аудиопоток на сервер для расшифровки, но столкнулась с задержками и потерей пакетов в мобильных сетях. Решение заключалось в том, чтобы обрабатывать распознавание речи и синтез речи на телефоне, отправляя по сети только текстовую расшифровку. Это устраняет проблемы с подключением; приложение работает даже в зонах с очень слабым сигналом.

Обработка на устройстве создала проблему для бэкенда: большинство ML-моделей используют фреймворк Metal от Apple (ускорение GPU), которому Apple не позволяет работать в фоновом режиме. Поэтому приложение переключается на стандартный CoreML без ускорения GPU, чтобы поддерживать работу распознавания и обработки голоса при выключенном экране — это необходимая жертва для использования без помощи рук.

Фоновый шум (указания навигатора, разговоры, радио) был ещё одной проблемой. Решение — голосовая биометрия: приложение запоминает ваш голосовой профиль и отправляет AI только распознанную речь. Объявления GPS и прочие шумы игнорируются.

Возможности

• Локальное распознавание речи: Расшифровка происходит на устройстве; никакой аудио не отправляется Apple или Google. Только текст передаётся вашему AI-бэкенду.
• Локальный TTS: Несколько голосовых опций, вывод через динамики телефона или CarPlay.
• Постоянное определение голоса: Не требуется нажатие кнопки или активационная фраза; приложение само определяет, когда вы говорите.
• Интеграция с CarPlay: Полное управление без помощи рук в автомобиле — изначальная причина создания приложения.
• Основное распознавание голоса: Только ваш зарегистрированный голос активирует AI; фоновые звуки отфильтровываются.
• Контекст GPS: Данные о местоположении отправляются с каждым сообщением для ответов с учётом местоположения.

Бэкенд и доступность

Для подключения ClawVibe вам потребуется собственный AI-бэкенд. Приложение поддерживает несколько настроек, в разработке находятся дополнительные интеграции. Если у вас уже запущен экземпляр OpenClaw, всё готово. Если нет, вы можете опробовать приложение с локальной моделью на устройстве.

Приложение сейчас доступно в бета-версии TestFlight. Бесплатная версия в App Store предоставит полный базовый голосовой опыт. Премиум-уровень (выходит позже) добавит больше голосов, несколько голосовых профилей, расширенный интерфейс CarPlay, поддержку Apple Watch и многое другое.

Для кого это

Для разработчиков, которые самостоятельно размещают AI-агентов и хотят ориентированный на конфиденциальность голосовой интерфейс без помощи рук для вождения или других ситуаций, когда руки заняты.