아그노스트 AI 출시: 채팅 및 음성 에이전트를 위한 제품 분석

Agnost AI는 YC S26 창업자 Shubham과 Parth가 설립한, 채팅 및 음성 에이전트를 구축하는 팀을 위한 제품 분석 플랫폼입니다. SDK 또는 OpenTelemetry를 통해 생산 대화 메시지를 수집한 후, 전통적인 평가가 놓치는 행동 실패(예: 사용자가 에이전트에게 욕설(rageprompting), 동일 요청 반복 재구문, 에이전트 수정, 누락된 기능 요청, 기술적으로 성공한 답변 후 이탈)를 표면화합니다.

작동 방식

팀은 SDK(PyPI 및 npm에서 제공) 또는 OTel을 통해 에이전트 대화 메시지를 전송하며, 선택적으로 계정, 요금제, 소스, 조직과 같은 메타데이터를 포함할 수 있습니다. Agnost AI는 대화를 제품별 의도로 클러스터링합니다. 기능 요청과 버그는 기본 카테고리이며, 대부분의 다른 클러스터는 데이터에서 동적으로 생성되어 시간이 지남에 따라 진화합니다. 일반 영어로 자신만의 클러스터를 만들 수 있습니다. 클러스터가 너무 넓어지면 시스템이 분할합니다. 새로운 패턴이 나타나면 제안합니다.

실제 사례

한 AI 비디오 편집 회사는 Agnost AI를 사용하여 숨겨진 기능 요청을 찾았습니다. 약 70명의 사용자가 자동 자막을 원했으며, "이 프레임에 이 텍스트 추가"(단일 세션에서 12회), "캡션을 추가해 줘", "오디오 대본을 줘" 등 다양한 언어로 표현되었습니다. 팀은 나중에 이 기능을 구축했습니다.

기술적 접근 방식

어려운 점은 모든 것을 LLM에 보내지 않고 수백만 개의 메시지에 대해 이 작업을 수행하는 것이었습니다. ClickHouse에서 "시간별로 대화 간 마지막 50개 이벤트 가져오기"와 "이 대화의 모든 이벤트 가져오기"는 서로 다른 정렬 순서가 필요하므로, 정렬 키, 파티션, 구체화된 뷰 및 프로젝션을 반복했습니다. 새 클러스터를 찾기 위해 모든 것을 LLM에 보내는 것은 너무 느리고 비용이 많이 들었습니다. 코사인 드리프트를 기반으로 대화를 세그먼트로 분할하고, BIRCH를 실행하여 후보 공간을 압축한 후, 더 작은 집합에 HDBSCAN 유사 클러스터링을 사용합니다. 기존 클러스터 매칭에는 임베딩, 더 작은 분류기/BERT 스타일 모델을 사용하고, LLM은 모호한 경우에만 대체로 사용합니다.

가격

• Starter: 무료 — 월 최대 1,000개 메시지, 7일 보관
• Pro: 월 $499 — 월 최대 100,000개 메시지, 90일 보관, 우선 지원
• Enterprise: 맞춤형 — 대용량, 보안, 보관, 감사 로그, 맞춤 SLA

현황

Agnost AI는 여러 기업에서 사용 중이며, 하루 약 100만 개의 채팅 및 음성 메시지를 수집합니다. SOC 2 Type 1 인증을 완료했으며(Type 2 진행 중), 각 고객의 데이터는 해당 고객에게만 사용됩니다. 회원가입 없이 사용 가능한 인터랙티브 데모는 app.agnost.ai에서 확인하세요.

지금 실제 생산 대화에서 rageprompting, 반복 재시도, 설정 마찰, 이탈 위험 등의 신호를 감지하세요.