AI 에이전트를 위한 내장형 관측 가능성

FastAPI 기반으로 구축된 AI 에이전트 구축용 오픈소스 Python 프레임워크인 Definable AI가 최소한의 설정만 필요한 자체 호스팅 관측 가능성 대시보드를 추가했습니다. LangSmith나 Arize와 같은 외부 서비스가 필요한 사후 고려사항으로 관측 가능성을 다루는 다른 프레임워크들과 달리, 이 기능은 실행 파이프라인에 직접 내장되어 있습니다.

단일 플래그 설정

대시보드를 활성화하려면 에이전트 생성 시 단일 매개변수를 추가하세요:

from definable.agent import Agent

agent = Agent(
    model="openai/gpt-4o",
    tools=[get_weather, calculate],
    observability=True,  # <- 이 줄
)
agent.serve(enable_server=True, port=8002)
대시보드가 http://localhost:8002/obs/ 에서 라이브로 제공됩니다.

이 설정에는 API 키, 클라우드 계정, 메트릭 스택을 위한 Docker-compose와 같은 별도의 인프라가 필요하지 않습니다. 대시보드는 독립형 구성 요소로 에이전트와 함께 제공됩니다.

대시보드 기능

• 라이브 이벤트 스트림: SSE 기반 실시간 스트리밍으로 60개 이상의 이벤트 유형에 걸친 모든 모델 호출, 도구 실행, 지식 검색, 메모리 회상
• 토큰 및 비용 계정 관리: 실행별 및 집계 추적으로 예산이 정확히 어디로 가는지 확인
• 지연 시간 백분위수: 모든 실행에 대한 p50, p95, p99 메트릭으로 즉시 회귀 감지
• 도구별 분석: 어떤 도구가 가장 자주 호출되는지, 어떤 도구에서 오류가 발생하는지, 평균 실행 시간
• 실행 재생: 모든 과거 실행을 클릭하여 턴별로 단계별로 진행
• 실행 비교: 두 실행의 나란한 차이 비교로 변경된 프롬프트나 다른 도구 호출 즉시 확인
• 타임라인 차트: 5분, 30분, 시간별, 일별 버킷으로 시간 경과에 따른 토큰 소비, 비용, 오류율

아키텍처 접근 방식

관측 가능성 시스템은 LangSmith나 Phoenix와 같은 대안들과 여러 면에서 다릅니다:

• 자체 호스팅: 데이터가 기기를 떠나지 않으며 벤더 종속성 없음
• 제로 구성: 별도의 인프라나 수집기 프로세스 불필요
• 파이프라인 내장: 이벤트가 몽키 패칭이나 OTEL 계측을 통해 패치되는 대신 8단계 실행 파이프라인 내부에서 방출됨
• 프로토콜 기반: SDK 설치 없이 모든 백엔드로 내보내기 위한 3-메서드 클래스 작성

유지 관리자는 이것이 RBAC 및 보존 정책과 같은 엔터프라이즈 기능을 갖춘 본격적인 APM 시스템을 대체하기 위한 것이 아님을 언급합니다. 이는 개발 중에 무슨 일이 일어나는지 보고 싶은 에이전트를 구축하는 개발자를 위해 설계되었습니다.

이 프로젝트는 현재 초기 단계에 있으며 유지 관리자는 추가 기여자를 모색하고 있습니다. 프레임워크는 https://github.com/definableai/definable.ai에서 이용 가능합니다.