Observabilité intégrée pour les agents d'IA

Definable AI, un framework Python open-source construit sur FastAPI pour développer des agents d'IA, a ajouté un tableau de bord d'observabilité auto-hébergé nécessitant une configuration minimale. Contrairement à d'autres frameworks qui traitent l'observabilité comme une réflexion après coup nécessitant des services externes comme LangSmith ou Arize, cette fonctionnalité est directement intégrée dans le pipeline d'exécution.

Configuration en un indicateur

Pour activer le tableau de bord, ajoutez un seul paramètre lors de la création de votre agent :

from definable.agent import Agent

agent = Agent(
    model="openai/gpt-4o",
    tools=[get_weather, calculate],
    observability=True,  # <- cette ligne
)
agent.serve(enable_server=True, port=8002)
Tableau de bord accessible à http://localhost:8002/obs/

La configuration ne nécessite aucune clé API, compte cloud ou infrastructure séparée comme Docker-compose pour les piles de métriques. Le tableau de bord est servi aux côtés de votre agent en tant que composant autonome.

Fonctionnalités du tableau de bord

• Flux d'événements en direct : Streaming en temps réel alimenté par SSE de chaque appel de modèle, exécution d'outil, récupération de connaissances et rappel de mémoire parmi plus de 60 types d'événements
• Comptabilité des tokens et des coûts : Suivi par exécution et agrégé pour voir exactement où va votre budget
• Percentiles de latence : Métriques p50, p95, p99 sur toutes les exécutions pour détecter instantanément les régressions
• Analytiques par outil : Quels outils sont appelés le plus fréquemment, lesquels génèrent des erreurs et temps d'exécution moyens
• Relecture d'exécution : Cliquez sur n'importe quelle exécution historique et parcourez-la étape par étape
• Comparaison d'exécutions : Différence côte à côte de deux exécutions pour voir immédiatement les invites modifiées ou les appels d'outils différents
• Graphiques chronologiques : Consommation de tokens, coûts et taux d'erreur dans le temps avec des intervalles de 5 minutes, 30 minutes, horaires et quotidiens

Approche architecturale

Le système d'observabilité diffère des alternatives comme LangSmith ou Phoenix de plusieurs manières :

• Auto-hébergé : Vos données ne quittent jamais votre machine sans verrouillage fournisseur
• Zéro configuration : Aucune infrastructure ou processus de collecte séparé requis
• Intégré au pipeline : Les événements sont émis depuis l'intérieur du pipeline d'exécution à 8 phases plutôt que greffés via monkey-patching ou instrumentation OTEL
• Basé sur protocole : Écrivez une classe à 3 méthodes pour exporter vers n'importe quel backend sans installer de SDK

Le mainteneur note que cela n'est pas destiné à remplacer les systèmes APM complets avec des fonctionnalités d'entreprise comme RBAC et politiques de rétention. Il est conçu pour les développeurs construisant des agents qui veulent voir ce qui se passe pendant le développement.

Le projet est actuellement à ses débuts avec le mainteneur recherchant des contributeurs supplémentaires. Le framework est disponible à https://github.com/definableai/definable.ai.