Definable AIは、単一フラグでセルフホスト型のオブザーバビリティダッシュボードを追加します。

AIエージェントのための組み込みオブザーバビリティ
Definable AIは、FastAPI上に構築されたAIエージェント開発のためのオープンソースPythonフレームワークで、最小限のセットアップで利用できるセルフホスト型オブザーバビリティダッシュボードを追加しました。LangSmithやArizeのような外部サービスを必要とする他のフレームワークとは異なり、この機能は実行パイプラインに直接組み込まれています。
ワンフラグ設定
ダッシュボードを有効にするには、エージェント作成時に単一のパラメータを追加します:
from definable.agent import Agent
agent = Agent(
model="openai/gpt-4o",
tools=[get_weather, calculate],
observability=True, # <- この行
)
agent.serve(enable_server=True, port=8002)
ダッシュボードは http://localhost:8002/obs/ で利用可能
この設定には、APIキー、クラウドアカウント、メトリクススタック用のDocker-composeのような別途のインフラストラクチャは必要ありません。ダッシュボードは、独立したコンポーネントとしてエージェントと一緒に提供されます。
ダッシュボード機能
- ライブイベントストリーム:SSEを利用したリアルタイムストリーミングで、60以上のイベントタイプにわたるすべてのモデル呼び出し、ツール実行、知識取得、メモリ呼び出しを表示
- トークンとコスト管理:実行ごとおよび集計トラッキングで、予算がどこに使われているかを正確に把握
- レイテンシー百分位数:すべての実行にわたるp50、p95、p99メトリクスで、即座に回帰を発見
- ツールごとの分析:どのツールが最も頻繁に呼び出されるか、どのツールがエラーを起こすか、平均実行時間を表示
- 実行再生:任意の過去の実行をクリックして、ターンごとにステップ実行
- 実行比較:2つの実行を並べて比較し、変更されたプロンプトや異なるツール呼び出しを即座に確認
- タイムラインチャート:5分、30分、1時間、1日単位のバケットで、時間経過に伴うトークン消費、コスト、エラー率を表示
アーキテクチャアプローチ
このオブザーバビリティシステムは、LangSmithやPhoenixのような代替手段と以下の点で異なります:
- セルフホスト型:データはマシンから離れず、ベンダーロックインなし
- ゼロ設定:別途のインフラストラクチャやコレクタープロセスは不要
- パイプラインに組み込み:イベントは、モンキーパッチングやOTEL計装ではなく、8フェーズの実行パイプライン内部から発行
- プロトコルベース:3メソッドのクラスを記述して、SDKをインストールせずに任意のバックエンドにエクスポート可能
メンテナーは、RBACや保持ポリシーなどのエンタープライズ機能を備えた本格的なAPMシステムを置き換えることを意図していないと述べています。これは、開発中に何が起こっているかを確認したいエージェント開発者向けに設計されています。
このプロジェクトは現在初期段階にあり、メンテナーは追加の貢献者を求めています。フレームワークはhttps://github.com/definableai/definable.aiで利用可能です。
📖 完全なソースを読む: r/LocalLLaMA
👀 See Also

MCPサーバーを反映:持続的なコーディングエージェントメモリのためのReflexionペーパーを実装
開発者がReflexion論文(Shinnら、NeurIPS 2023)をMCPサーバーとして実装し、ローカルコーディングエージェントの間で永続的な記憶を保持できるようにしました。このシステムは、エラーメッセージに対して正規表現ベースのパターンマッチングを使用し、SQLiteとFTS5で教訓を保存します。

TOON MCPサーバーは、OpenClawにおけるツール結果トークンを30〜60%削減します。
構造化されたJSONツール結果をTOON形式に圧縮するMCPサーバーは、データベースクエリやAPIレスポンスなどの表形式データに対して、トークン使用量を30〜60%削減でき、OpenClawセッションでのコンテキストウィンドウ圧縮を遅らせるのに役立ちます。

Semble: コード検索AIエージェントがgrep+readより98%少ないトークンで実現
Sembleは、静的Model2Vec埋め込みとBM25を組み合わせ、CPUのみで動作するAIエージェント向けのオープンソースコード検索ライブラリです。リポジトリのインデックス作成に約250ms、クエリ応答に約1.5msかかり、NDCG@10で0.854を達成 — 137Mパラメータのトランスフォーマーの品質の99%を維持しながら、grep+readよりも98%少ないトークンを使用します。

PayClaw、仮想Visaカードを備えた決済MCPサーバーのサンドボックスを開始
PayClawは、支払いMCPサーバーのサンドボックス環境をリリースしました。これには、15分で有効期限が切れる加盟店限定の仮想Visaカード、取引ごとのMFAゲートによる人的承認、カード発行前の意図宣言機能が含まれています。本番用カードは3月4日を予定しています。