Agnost AI Lança: Análise de Produtos para Agentes de Chat e Voz

Agnost AI, fundado pelos YC S26 Shubham e Parth, é uma plataforma de análise de produto especificamente para equipes que criam agentes de chat e voz. Ela ingere mensagens de conversas de produção via SDKs ou OpenTelemetry e identifica falhas comportamentais que avaliações tradicionais perdem — como usuários fazendo rageprompting (xingando o agente), reformulando repetidamente a mesma solicitação, corrigindo o agente, pedindo recursos ausentes ou saindo após uma resposta tecnicamente bem-sucedida.

Como funciona

As equipes enviam mensagens dos agentes através de SDKs (disponíveis no PyPI e npm) ou OTel, opcionalmente com metadados como conta, plano, fonte, organização. Agnost AI agrupa conversas em intenções específicas do produto. Solicitações de recursos e bugs são categorias padrão; a maioria dos outros clusters são criados dinamicamente a partir dos dados e evoluem com o tempo. Você pode criar seu próprio cluster em inglês simples. Se um cluster ficar muito amplo, o sistema o divide. Se um novo padrão aparecer, ele sugere.

Exemplo real

Uma empresa de editor de vídeo com IA usou Agnost AI para encontrar solicitações de recursos ocultas: cerca de 70 usuários queriam legendas automáticas, expressas como “adicione este texto neste quadro” (12x em uma única sessão), “pode legendar?”, “dê-me a transcrição do áudio” e variações em vários idiomas. A equipe posteriormente desenvolveu o recurso.

Abordagem técnica

A parte difícil foi fazer isso em milhões de mensagens sem enviar tudo para um LLM. No ClickHouse, “buscar os últimos 50 eventos por tempo entre conversas” e “buscar todos os eventos nesta conversa” exigem diferentes ordens de classificação, então eles iteraram em chaves de classificação, partições, visualizações materializadas e projeções. Para encontrar novos clusters, enviar tudo por um LLM era muito lento e caro. Eles dividem conversas em segmentos com base no desvio de cosseno, executam BIRCH para comprimir o espaço candidato e depois usam agrupamento estilo HDBSCAN no conjunto menor. Para corresponder clusters existentes, usam embeddings, classificadores menores/modelos estilo BERT e LLMs apenas como fallback para casos ambíguos.

Preços

• Starter: Grátis — até 1.000 mensagens/mês, retenção de 7 dias
• Pro: US$ 499/mês — até 100.000 mensagens/mês, retenção de 90 dias, suporte prioritário
• Enterprise: Personalizado — maior volume, segurança, retenção, logs de auditoria, SLAs personalizados

Status

Agnost AI está ativo com várias empresas, ingerindo ~1 milhão de mensagens de chat e voz por dia. Eles são compatíveis com SOC 2 Tipo 1 (Tipo 2 em andamento). Os dados de cada cliente são usados apenas para aquele cliente. Uma demonstração interativa sem cadastro está disponível em app.agnost.ai.

Detecte esses sinais hoje: rageprompting, tentativas repetidas, fricção na configuração, risco de churn e muito mais — diretamente de conversas reais de produção.