Agnost AI geht an den Start: Produktanalysen für Chat- und Sprachagenten

Agnost AI, gegründet von den YC S26-Gründern Shubham und Parth, ist eine Produktanalytik-Plattform speziell für Teams, die Chat- und Voice-Agents entwickeln. Sie nimmt Produktionsgespräche über SDKs oder OpenTelemetry auf und deckt Verhaltensfehler auf, die traditionelle Bewertungen übersehen – wie Rageprompting (Beschimpfen des Agents), wiederholtes Umformulieren derselben Anfrage, Korrekturen des Agents, Anfragen nach fehlenden Features oder das Verlassen trotz technisch korrekter Antwort.

Wie es funktioniert

Teams senden Agenten-Nachrichten über SDKs (verfügbar auf PyPI und npm) oder OTel, optional mit Metadaten wie Account, Tarif, Quelle, Organisation. Agnost AI clustert Gespräche in produktspezifische Absichten. Feature-Anfragen und Bugs sind Standardkategorien; die meisten anderen Cluster werden dynamisch aus den Daten erstellt und entwickeln sich im Laufe der Zeit weiter. Sie können eigene Cluster in einfachem Englisch erstellen. Wenn ein Cluster zu breit wird, teilt das System ihn auf. Taucht ein neues Muster auf, wird es vorgeschlagen.

Praktisches Beispiel

Ein KI-Videobearbeitungsunternehmen nutzte Agnost AI, um versteckte Feature-Anfragen zu finden: etwa 70 Nutzer wünschten sich automatische Untertitel, ausgedrückt als „Füge diesen Text in dieses Bild ein“ (12 Mal in einer Sitzung), „Kannst du es untertiteln?“, „Gib mir das Transkript des Audios“ und Variationen in verschiedenen Sprachen. Das Team baute später das Feature ein.

Technischer Ansatz

Die Herausforderung bestand darin, dies bei Millionen von Nachrichten zu tun, ohne alles an ein LLM zu senden. In ClickHouse erfordern „Hole die letzten 50 Ereignisse pro Gespräch nach Zeit“ und „Hole alle Ereignisse in diesem Gespräch“ unterschiedliche Sortierreihenfolgen, also optimierten sie Sortierschlüssel, Partitionen, materialisierte Ansichten und Projektionen. Für die Erkennung neuer Cluster war das Senden aller Daten an ein LLM zu langsam und teuer. Sie teilen Gespräche in Segmente basierend auf Kosinus-Drift, führen BIRCH zur Verdichtung des Kandidatenraums durch und clustern dann mit HDBSCAN-ähnlichen Verfahren auf der reduzierten Menge. Für das Matching vorhandener Cluster verwenden sie Embeddings, kleinere Classifier/BERT-Modelle und LLMs nur als Fallback bei Uneindeutigkeit.

Preise

• Starter: Kostenlos – bis zu 1.000 Nachrichten/Monat, 7 Tage Aufbewahrung
• Pro: 499 $/Monat – bis zu 100.000 Nachrichten/Monat, 90 Tage Aufbewahrung, Prioritäts-Support
• Enterprise: Individuell – höheres Volumen, Sicherheit, Aufbewahrung, Prüfprotokolle, individuelle SLAs

Status

Agnost AI ist live bei mehreren Unternehmen und verarbeitet täglich etwa 1 Mio. Chat- und Voice-Nachrichten. Sie sind SOC 2 Typ 1-konform (Typ 2 in Bearbeitung). Die Daten jedes Kunden werden nur für diesen Kunden verwendet. Eine interaktive Demo ohne Anmeldung ist unter app.agnost.ai verfügbar.

Erkennen Sie diese Signale noch heute: Rageprompting, wiederholte Versuche, Einrichtungsprobleme, Abwanderungsrisiko und mehr – direkt aus echten Produktionsgesprächen.