Integrierte Observability für KI-Agenten

Definable AI, ein auf FastAPI basierendes Open-Source-Python-Framework für den Bau von KI-Agenten, hat ein selbst gehostetes Observability-Dashboard hinzugefügt, das minimalen Setup-Aufwand erfordert. Im Gegensatz zu anderen Frameworks, die Observability als nachträglichen Gedanken behandeln, der externe Dienste wie LangSmith oder Arize erfordert, ist diese Funktion direkt in die Ausführungspipeline integriert.

Ein-Flag-Setup

Um das Dashboard zu aktivieren, fügen Sie einen einzigen Parameter bei der Erstellung Ihres Agenten hinzu:

from definable.agent import Agent

agent = Agent(
    model="openai/gpt-4o",
    tools=[get_weather, calculate],
    observability=True,  # <- diese Zeile
)
agent.serve(enable_server=True, port=8002)
Dashboard live unter http://localhost:8002/obs/

Das Setup erfordert keine API-Schlüssel, Cloud-Konten oder separate Infrastruktur wie Docker-Compose für Metrik-Stacks. Das Dashboard wird zusammen mit Ihrem Agenten als eigenständige Komponente bereitgestellt.

Dashboard-Funktionen

• Live-Event-Stream: SSE-basiertes Echtzeit-Streaming jedes Modellaufrufs, Tool-Ausführung, Wissensabrufs und Speicherrückrufs über 60+ Event-Typen
• Token- & Kostenabrechnung: Pro-Run- und aggregierte Verfolgung, um genau zu sehen, wohin Ihr Budget fließt
• Latenz-Perzentile: p50, p95, p99 Metriken über alle Runs, um Regressionen sofort zu erkennen
• Pro-Tool-Analysen: Welche Tools am häufigsten aufgerufen werden, welche Fehler verursachen und durchschnittliche Ausführungszeiten
• Run-Replay: Klicken Sie in einen beliebigen historischen Run und gehen Sie ihn schrittweise durch
• Run-Vergleich: Gegenüberstellung von zwei Runs, um geänderte Prompts oder unterschiedliche Tool-Aufrufe sofort zu sehen
• Zeitachsen-Diagramme: Token-Verbrauch, Kosten und Fehlerraten über die Zeit mit 5-Minuten-, 30-Minuten-, stündlichen und täglichen Intervallen

Architekturansatz

Das Observability-System unterscheidet sich in mehrfacher Hinsicht von Alternativen wie LangSmith oder Phoenix:

• Selbst gehostet: Ihre Daten verlassen nie Ihren Rechner, ohne Vendor-Lock-in
• Zero-Config: Keine separate Infrastruktur oder Collector-Prozesse erforderlich
• In die Pipeline integriert: Events werden innerhalb der 8-Phasen-Ausführungspipeline emittiert, anstatt nachträglich durch Monkey-Patching oder OTEL-Instrumentierung hinzugefügt
• Protokollbasiert: Schreiben Sie eine 3-Methoden-Klasse, um in jedes Backend zu exportieren, ohne SDKs zu installieren

Der Maintainer weist darauf hin, dass dies nicht dazu gedacht ist, vollwertige APM-Systeme mit Unternehmensfunktionen wie RBAC und Aufbewahrungsrichtlinien zu ersetzen. Es ist für Entwickler gedacht, die Agenten bauen und während der Entwicklung sehen möchten, was passiert.

Das Projekt befindet sich derzeit in einem frühen Stadium, und der Maintainer sucht nach weiteren Mitwirkenden. Das Framework ist verfügbar unter https://github.com/definableai/definable.ai.