ClawVibe: Um Assistente de Voz Mãos-Livres para iOS para Agentes de IA com STT/TTS no Dispositivo

ClawVibe é um assistente de voz iOS nativo que permite conversar com seu agente de IA completamente sem usar as mãos — projetado para uso enquanto dirige. O desenvolvedor o criou após enfrentar o problema de um trajeto de 45 minutos, onde soluções com o celular na mão não eram seguras e as interfaces web exigiam toques. Após dois meses de trabalho, o aplicativo está agora em beta no TestFlight e será gratuito na App Store.

Principais Decisões Técnicas

A escolha arquitetural central: mover todo o processamento de áudio para o dispositivo. A versão inicial transmitia o áudio da voz para um servidor para transcrição, mas enfrentou picos de latência e perda de pacotes em redes móveis. A solução foi lidar com o reconhecimento de fala e a conversão de texto em fala no telefone, enviando apenas a transcrição em texto simples pela rede. Isso elimina problemas de conectividade; funciona até em áreas com sinal fraco.

O processamento no dispositivo trouxe um desafio de backend: a maioria dos modelos de ML usa o framework Metal da Apple (aceleração de GPU), que a Apple não permite executar em segundo plano. Portanto, o aplicativo recorre ao CoreML padrão sem aceleração de GPU para manter a detecção e o processamento de voz ativos enquanto a tela está desligada — uma troca necessária para o uso sem as mãos.

Ruídos de fundo (direções do GPS, conversas, rádio) foram outro ponto problemático. A solução é a biometria de voz: o aplicativo aprende seu perfil de voz e só envia a fala reconhecida para a IA. Anúncios do GPS e outros ruídos são ignorados.

Recursos

• Reconhecimento de fala no dispositivo: Transcrito localmente; nenhum áudio é enviado para a Apple ou Google. Apenas o texto vai para o backend da sua IA.
• TTS no dispositivo: Várias opções de voz, saída pelos alto-falantes do telefone ou CarPlay.
• Detecção de voz sempre ativa: Sem necessidade de pressionar botão ou usar palavra de ativação; ele sabe quando você está falando.
• Integração com CarPlay: Totalmente sem as mãos no carro — o motivo original para criá-lo.
• Reconhecimento de voz primário: Apenas sua voz registrada ativa a IA; sons de fundo são filtrados.
• Contexto de GPS: Dados de localização enviados com cada mensagem para respostas sensíveis à localização.

Backend e Disponibilidade

Você precisa do seu próprio backend de IA para conectar o ClawVibe. Ele suporta várias configurações, com mais integrações em andamento. Se você já executa uma instância do OpenClaw, está pronto. Caso contrário, você pode testar o aplicativo com um modelo local no dispositivo.

O aplicativo está atualmente em beta no TestFlight. Uma versão gratuita na App Store fornecerá a experiência de voz principal completa. Um nível Premium (a ser lançado posteriormente) adicionará mais vozes, vários perfis de voz, interface CarPlay expandida, suporte ao Apple Watch e muito mais.

Para quem é

Desenvolvedores que hospedam seus próprios agentes de IA e desejam uma interface de voz privada e sem usar as mãos para dirigir ou outros contextos onde as mãos estão ocupadas.