Cue AI usa Gemma 4 para ditado de voz mais rápido: queda de 44% na latência, 30% mais uso

A Cue AI, agente desktop ativado por voz que executa tarefas de ditado e ações agênticas via tecla de atalho, substituiu sua etapa de refinamento de texto baseada em nuvem pelo Gemma 4 E4B do Google DeepMind, executado localmente via Ollama. A mudança reduziu a latência mediana de refinamento de 876ms para 488ms — uma redução de 44% — e manteve o ciclo completo (falar, refinar, inserir) confortavelmente abaixo de 500ms, o limite perceptual para parecer mais rápido que digitar.

Principais Resultados

• Latência: Etapa de refinamento caiu de 876ms para 488ms mediana (medido em Apple Silicon M-series via Ollama, 227 amostras de voz reais incluindo entrada multilíngue).
• Uso: O ditado por usuário aumentou ~30% nas quatro semanas após a mudança padrão. Usuários que antes ditavam mensagens curtas passaram a ditar mensagens mais longas, e a adoção do modo de voz cresceu para trabalhos sensíveis ao tempo.
• Custo: Executar o Gemma 4 E4B no dispositivo reduziu os custos marginais de inferência a zero, permitindo ditado ilimitado no nível gratuito sem limites ou paywall.

Como Funciona

O pipeline de refinamento é intencionalmente simples: o áudio é transcrito via STT em nuvem e, em seguida, enviado ao Gemma 4 E4B com um prompt de sistema compacto de ~400 tokens que impõe regras de formatação — restaurando pontuação, segmentando frases, removendo palavras de preenchimento, corrigindo homófonos e adaptando-se ao campo de entrada ativo (por exemplo, sem ponto final para comandos curtos, pontuação completa para e-mails). O texto refinado é colado via APIs nativas do SO.

A implantação da Cue usa o modelo base apenas com engenharia de prompt. O contexto do aplicativo ativo (nome do aplicativo, tipo de campo, texto do placeholder) é injetado no prompt para que o modelo saiba se o usuário está compondo uma mensagem no Slack, um e-mail ou um comando de terminal. O caminho em nuvem permanece como fallback: se o Ollama não estiver em execução, a Cue roteia para um modelo em nuvem sem interrupção.

Por que o Gemma 4 Venceu

A equipe originalmente planejava usar o Gemma apenas como fallback offline, assumindo que um modelo maior em nuvem forneceria maior precisão. Avaliações em 227 amostras de voz reais mostraram que o Gemma 4 E4B tem a capacidade certa para formatar e corrigir sem editar demais — preservando a fala natural do usuário em vez de suavizá-la para prosa formal. Essa inversão — Gemma local como padrão, nuvem como fallback — agora é a espinha dorsal operacional de cada ditado da Cue.