Oodle.ai가 에이전트 관측 가능성 서비스를 트레이스 100만 개당 10달러에 출시

Oodle.ai (Kiran과 Vijay가 창업)는 에이전트 옵저버빌리티 제품을 스팬 100만 개당 10달러, 서브초 P99 쿼리 지연 시간, 제로 샘플링으로 출시했습니다. 이 서비스는 S3에 커스텀 Parquet 유사 컬럼 포맷으로 트레이스를 저장하며, AWS Lambda를 통해 쿼리합니다.

HN 런칭 주요 내용:

• 로그, 메트릭, 트레이스를 위해 2년간 개발된 커스텀 컬럼 스토리지 엔진을 LLM 에이전트 트레이스에 적용.
• 트레이스는 MB에서 GB까지 가능하며, 독점 Parquet 유사 포맷으로 S3에 저장되고 Lambda로 서버리스 쿼리됨.
• LLM 평가 전에 각 스팬에 대한 결정론적 분석: 도구 실패, 재시도, 루프, 비정상 토큰 사용, 지연 시간 회귀, 스키마 위반, 감성 및 기타 프로덕션 신호 감지.
• 가격: 스팬 100만 개당 10달러. 수집 $0.30/GB, 보관 $0.001/GB/월 (예시: 월 1200GB + 90일 보관 = 월 $362).
• 기본 제공 인사이트: 오류 복구 실패, 높은 지속 시간, 낮은 사용자 만족도, 모델 비용 최적화, 캐싱 비효율, 과도한 LLM 턴.
• 저자는 이전에 Langfuse를 사용했으나 (6배 비쌈). 현재 하루 300만 개 이상의 에이전트 트레이스를 제로 샘플링으로 처리 중.

작동 방식: Oodle은 모든 트레이스를 샘플링 없이 저장하고, 각 스팬을 결정론적으로 분석하여 실패 신호를 찾은 후, 플래그된 트레이스에 대해 선택적으로 LLM 기반 평가를 실행합니다. 보존된 모든 데이터에 대한 쿼리는 균일하게 빠르며, 웜/콜드 티어가 없습니다.

대상: 프로덕션에서 AI 에이전트를 출시하는 엔지니어링 팀으로, 샘플링 없이 저렴한 전체 충실도 트레이싱이 필요합니다.