Kelet: AI 에이전트를 위한 자동화된 근본 원인 분석

Kelet의 기능

Kelet는 프로덕션 환경에서 AI 에이전트와 LLM 애플리케이션을 지속적으로 모니터링하여 실패 원인을 자동으로 식별하는 서비스입니다. 에이전트가 명확한 오류와 함께 충돌하는 대신, 종종 잘못된 답변을 조용히 제공하여 수동 트레이스 분석이 필요합니다. Kelet는 수천 개의 세션에 걸쳐 실패 패턴을 클러스터링하여 이 조사를 자동화합니다.

작동 방식

• 트레이스와 신호(사용자 피드백, 편집, 클릭, 감정, LLM-as-a-judge 등)를 연결합니다
• Kelet가 해당 신호를 처리하고 각 세션에 대한 사실을 추출합니다
• 각 사례에서 무엇이 잘못되었는지에 대한 가설을 형성합니다
• 세션 간 유사한 가설을 클러스터링하고 함께 조사합니다
• 검토하고 적용할 수 있는 제안된 수정 사항과 함께 근본 원인을 표면화합니다

핵심 통찰: 개별 세션 실패는 무작위로 보이지만, 가설을 클러스터링하면 실패 패턴이 나타납니다.

통합 옵션

세 가지 통합 방법:

• 코딩 에이전트용 Kelet 스킬: 코드베이스를 스캔하고 신호 수집이 필요한 위치를 발견하며 모든 것을 자동으로 설정합니다
• Python SDK: pip install kelet
• TypeScript SDK: npm install kelet

수동 설정은 에이전트 코드에 두 줄을 추가하는 것이 필요합니다. Kelet는 완전히 OpenTelemetry 호환되므로, OTEL로 계측된 모든 에이전트가 즉시 작동합니다.

지원 프레임워크 및 플랫폼

다음과 호환: OpenTelemetry, Langfuse, Mixpanel, OpenAI, Anthropic, LangChain, pydantic AI SDK, CrewAI, Strands, Agno, Mastra, PostHog, LangGraph, AutoGen, LlamaIndex, Haystack, Semantic Kernel, Gemini API.

코드를 소유한 모든 에이전트 또는 LLM 애플리케이션과 호환: 에이전트 루프, 다단계 워크플로우, RAG 파이프라인, 챗봇, 자율 에이전트.

Kelet가 적합하지 않은 두 가지 상황:

• 다른 사람이 구축한 AI 도구를 사용하는 경우(Cursor, Claude Code, 개발자로서의 Copilot)
• 기존 에이전트 플랫폼 내에서 스킬이나 플러그인을 구축하는 경우

기술적 세부사항

• Kelet 서버에서 실행(SOC 2 인증)
• 트레이스를 24/7 지속적으로 수집
• 분석용 LLM 토큰은 Kelet가 부담(모델 API 비용에 영향 없음)
• 사용량 기반 가격 책정(kelet.ai/pricing 참조)
• 현재 베타 기간 동안 무료(신용카드 불필요)

성능 지표

파일럿 코호트 데이터 기준:

• 73%의 팀이 아무도 눈치채지 못한 실패를 경험(Kelet가 발견)
• 트레이스 수집부터 프롬프트 패치까지 중앙값 14.3분
• 디자인 파트너 배포에서 33,000개 이상 세션 분석