Agnost AI Lanza: Analítica de Producto para Agentes de Chat y Voz

Agnost AI, fundado por los fundadores de YC S26 Shubham y Parth, es una plataforma de analítica de producto diseñada específicamente para equipos que crean agentes de chat y voz. Ingiere mensajes de conversaciones de producción a través de SDKs u OpenTelemetry, y luego detecta fallos de comportamiento que las evaluaciones tradicionales pasan por alto, como usuarios que se enfadan (insultando al agente), reformulan repetidamente la misma solicitud, corrigen al agente, piden funciones faltantes o se van tras una respuesta técnicamente correcta.

Cómo funciona

Los equipos envían mensajes de conversaciones de agentes a través de SDKs (disponibles en PyPI y npm) u OTel, opcionalmente con metadatos como cuenta, plan, fuente, organización. Agnost AI agrupa las conversaciones en intenciones específicas del producto. Las solicitudes de funciones y los errores son categorías predeterminadas; la mayoría de los otros grupos se crean dinámicamente a partir de los datos y evolucionan con el tiempo. Puedes crear tu propio grupo en inglés sencillo. Si un grupo se vuelve demasiado amplio, el sistema lo divide. Si aparece un nuevo patrón, lo sugiere.

Ejemplo real

Una empresa de editor de video con IA utilizó Agnost AI para encontrar solicitudes de funciones ocultas: unos 70 usuarios querían subtítulos automáticos, expresados como "añade este texto en este fotograma" (12 veces en una sola sesión), "¿puedes subtitularlo?", "dame la transcripción del audio" y variaciones en varios idiomas. El equipo luego creó la función.

Enfoque técnico

La parte difícil fue hacer esto con millones de mensajes sin enviar todo a un LLM. En ClickHouse, "obtener los últimos 50 eventos por tiempo a través de conversaciones" y "obtener todos los eventos en esta conversación" requieren diferentes órdenes de clasificación, por lo que iteraron sobre claves de ordenación, particiones, vistas materializadas y proyecciones. Para encontrar nuevos grupos, enviar todo a través de un LLM era demasiado lento y costoso. Dividieron las conversaciones en segmentos basados en la deriva del coseno, ejecutaron BIRCH para comprimir el espacio de candidatos, y luego usaron agrupamiento similar a HDBSCAN en el conjunto más pequeño. Para hacer coincidir grupos existentes, usan embeddings, clasificadores más pequeños/modelos estilo BERT, y LLMs solo como respaldo para casos ambiguos.

Precios

• Starter: Gratis — hasta 1,000 mensajes/mes, retención de 7 días
• Pro: $499/mes — hasta 100,000 mensajes/mes, retención de 90 días, soporte prioritario
• Enterprise: Personalizado — mayor volumen, seguridad, retención, registros de auditoría, SLAs personalizados

Estado

Agnost AI está en funcionamiento con múltiples empresas, ingiriendo ~1M de mensajes de chat y voz por día. Son compatibles con SOC 2 Tipo 1 (Tipo 2 en progreso). Los datos de cada cliente se utilizan solo para ese cliente. Hay una demo interactiva sin registro disponible en app.agnost.ai.

Detecta estas señales hoy: enfado, reintentos repetidos, fricción en la configuración, riesgo de abandono y más — directamente desde conversaciones de producción reales.