Agnost AI lance : analyses produit pour agents de chat et vocaux

Agnost AI, fondé par les fondateurs YC S26 Shubham et Parth, est une plateforme d'analytique produit spécialement conçue pour les équipes qui créent des agents chat et vocaux. Elle ingère les messages de conversation de production via des SDK ou OpenTelemetry, puis remonte les défaillances comportementales que les évaluations traditionnelles ne détectent pas — comme les utilisateurs qui ragepromptent (insultent l'agent), reformulent à plusieurs reprises la même demande, corrigent l'agent, demandent des fonctionnalités manquantes, ou partent après une réponse techniquement correcte.

Comment ça marche

Les équipes envoient les messages de conversation de l'agent via des SDK (disponibles sur PyPI et npm) ou OTel, optionnellement avec des métadonnées comme le compte, le plan, la source, l'organisation. Agnost AI regroupe les conversations en intentions spécifiques au produit. Les demandes de fonctionnalités et les bugs sont des catégories par défaut ; la plupart des autres regroupements sont créés dynamiquement à partir des données et évoluent avec le temps. Vous pouvez créer votre propre regroupement en langage naturel. Si un regroupement devient trop large, le système le divise. Si un nouveau motif apparaît, il le suggère.

Exemple concret

Une entreprise d'édition vidéo IA a utilisé Agnost AI pour trouver des demandes de fonctionnalités cachées : environ 70 utilisateurs voulaient des sous-titres automatiques, exprimés par "ajoute ce texte dans cette image" (12 fois dans une même session), "peux-tu le sous-titrer", "donne-moi la transcription de l'audio", et des variations dans plusieurs langues. L'équipe a ensuite développé la fonctionnalité.

Approche technique

La difficulté était de le faire sur des millions de messages sans tout envoyer à un LLM. Dans ClickHouse, "récupérer les 50 derniers événements par ordre chronologique dans toutes les conversations" et "récupérer tous les événements de cette conversation" nécessitent des ordres de tri différents, ils ont donc itéré sur les clés de tri, les partitions, les vues matérialisées et les projections. Pour trouver de nouveaux regroupements, tout envoyer via un LLM était trop lent et coûteux. Ils divisent les conversations en segments basés sur la dérive cosinus, exécutent BIRCH pour compresser l'espace candidat, puis utilisent un clustering de type HDBSCAN sur l'ensemble réduit. Pour faire correspondre les regroupements existants, ils utilisent des embeddings, des classifieurs plus petits/modèles de type BERT, et les LLM seulement comme solution de repli pour les cas ambigus.

Tarifs

• Starter : Gratuit — jusqu'à 1 000 messages/mois, conservation 7 jours
• Pro : 499 $/mois — jusqu'à 100 000 messages/mois, conservation 90 jours, support prioritaire
• Enterprise : Sur devis — volume plus élevé, sécurité, conservation, journaux d'audit, SLA personnalisés

Statut

Agnost AI est en production avec plusieurs entreprises, ingérant environ 1 million de messages chat et vocaux par jour. Ils sont conformes SOC 2 Type 1 (Type 2 en cours). Les données de chaque client sont utilisées uniquement pour ce client. Une démo interactive sans inscription est disponible sur app.agnost.ai.

Détectez ces signaux dès aujourd'hui : rageprompting, tentatives répétées, friction à l'installation, risque de désabonnement, et plus encore — directement à partir de conversations de production réelles.