AIエージェントのための組み込みオブザーバビリティ

Definable AIは、FastAPI上に構築されたAIエージェント開発のためのオープンソースPythonフレームワークで、最小限のセットアップで利用できるセルフホスト型オブザーバビリティダッシュボードを追加しました。LangSmithやArizeのような外部サービスを必要とする他のフレームワークとは異なり、この機能は実行パイプラインに直接組み込まれています。

ワンフラグ設定

ダッシュボードを有効にするには、エージェント作成時に単一のパラメータを追加します：

from definable.agent import Agent

agent = Agent(
    model="openai/gpt-4o",
    tools=[get_weather, calculate],
    observability=True,  # <- この行
)
agent.serve(enable_server=True, port=8002)
ダッシュボードは http://localhost:8002/obs/ で利用可能

この設定には、APIキー、クラウドアカウント、メトリクススタック用のDocker-composeのような別途のインフラストラクチャは必要ありません。ダッシュボードは、独立したコンポーネントとしてエージェントと一緒に提供されます。

ダッシュボード機能

• ライブイベントストリーム：SSEを利用したリアルタイムストリーミングで、60以上のイベントタイプにわたるすべてのモデル呼び出し、ツール実行、知識取得、メモリ呼び出しを表示
• トークンとコスト管理：実行ごとおよび集計トラッキングで、予算がどこに使われているかを正確に把握
• レイテンシー百分位数：すべての実行にわたるp50、p95、p99メトリクスで、即座に回帰を発見
• ツールごとの分析：どのツールが最も頻繁に呼び出されるか、どのツールがエラーを起こすか、平均実行時間を表示
• 実行再生：任意の過去の実行をクリックして、ターンごとにステップ実行
• 実行比較：2つの実行を並べて比較し、変更されたプロンプトや異なるツール呼び出しを即座に確認
• タイムラインチャート：5分、30分、1時間、1日単位のバケットで、時間経過に伴うトークン消費、コスト、エラー率を表示

アーキテクチャアプローチ

このオブザーバビリティシステムは、LangSmithやPhoenixのような代替手段と以下の点で異なります：

• セルフホスト型：データはマシンから離れず、ベンダーロックインなし
• ゼロ設定：別途のインフラストラクチャやコレクタープロセスは不要
• パイプラインに組み込み：イベントは、モンキーパッチングやOTEL計装ではなく、8フェーズの実行パイプライン内部から発行
• プロトコルベース：3メソッドのクラスを記述して、SDKをインストールせずに任意のバックエンドにエクスポート可能

メンテナーは、RBACや保持ポリシーなどのエンタープライズ機能を備えた本格的なAPMシステムを置き換えることを意図していないと述べています。これは、開発中に何が起こっているかを確認したいエージェント開発者向けに設計されています。

このプロジェクトは現在初期段階にあり、メンテナーは追加の貢献者を求めています。フレームワークはhttps://github.com/definableai/definable.aiで利用可能です。