Запуск Agnost AI: Аналитика продуктов для чат- и голосовых агентов

Agnost AI, основанная основателями YC S26 Шубхамом и Партом, — это платформа аналитики продуктов для команд, создающих чат- и голосовых агентов. Она принимает сообщения из продакшена через SDK или OpenTelemetry и выявляет поведенческие сбои, которые пропускают традиционные оценки: например, пользователи ругаются на агента (rageprompting), многократно переформулируют один и тот же запрос, исправляют агента, просят о недостающих функциях или уходят после технически правильного ответа.

Как это работает

Команды отправляют сообщения агентов через SDK (доступны на PyPI и npm) или OTel, опционально с метаданными, такими как аккаунт, тариф, источник, организация. Agnost AI кластеризует диалоги в намерения, специфичные для продукта. Запросы функций и баги — это категории по умолчанию; большинство других кластеров создаются динамически на основе данных и со временем эволюционируют. Вы можете создать свой собственный кластер на простом английском. Если кластер становится слишком широким, система разделяет его. Если появляется новый паттерн, система предлагает его.

Реальный пример

Одна компания по созданию AI-видеоредактора использовала Agnost AI для поиска скрытых запросов функций: около 70 пользователей хотели автоматические субтитры, выражая это как «добавь этот текст в этот кадр» (12 раз за сессию), «можешь сделать субтитры», «дай транскрипт аудио» и вариации на разных языках. Позже команда реализовала эту функцию.

Технический подход

Сложность заключалась в обработке миллионов сообщений без отправки всего в LLM. В ClickHouse «получить последние 50 событий по времени в разных диалогах» и «получить все события в этом диалоге» требуют разных порядков сортировки, поэтому они итеративно работали над ключами сортировки, партициями, материализованными представлениями и проекциями. Для поиска новых кластеров отправка всего через LLM была слишком медленной и дорогой. Они разделяют диалоги на сегменты на основе косинусного дрейфа, запускают BIRCH для сжатия пространства кандидатов, а затем используют кластеризацию типа HDBSCAN на меньшем наборе. Для сопоставления существующих кластеров они используют эмбеддинги, малые классификаторы/модели BERT, а LLM — только как запасной вариант для неоднозначных случаев.

Цены

• Стартовый: бесплатно — до 1000 сообщений в месяц, хранение 7 дней
• Pro: $499/месяц — до 100 000 сообщений в месяц, хранение 90 дней, приоритетная поддержка
• Enterprise: индивидуально — большие объемы, безопасность, хранение, аудит, индивидуальные SLA

Статус

Agnost AI работает с несколькими компаниями, обрабатывая около 1 млн чат- и голосовых сообщений в день. Они соответствуют требованиям SOC 2 Type 1 (Type 2 в процессе). Данные каждого клиента используются только для этого клиента. Интерактивное демо без регистрации доступно на app.agnost.ai.

Обнаруживайте эти сигналы уже сегодня: rageprompting, повторные попытки, проблемы с настройкой, риск оттока и другое — прямо из реальных производственных диалогов.