Observabilidad integrada para agentes de IA

Definable AI, un framework de Python de código abierto basado en FastAPI para construir agentes de IA, ha añadido un panel de observabilidad autoalojado que requiere una configuración mínima. A diferencia de otros frameworks que tratan la observabilidad como una idea tardía que requiere servicios externos como LangSmith o Arize, esta característica está integrada directamente en la tubería de ejecución.

Configuración de una bandera

Para habilitar el panel, añade un solo parámetro al crear tu agente:

from definable.agent import Agent

agent = Agent(
    model="openai/gpt-4o",
    tools=[get_weather, calculate],
    observability=True,  # <- esta línea
)
agent.serve(enable_server=True, port=8002)
Panel disponible en http://localhost:8002/obs/

La configuración no requiere claves API, cuentas en la nube ni infraestructura separada como Docker-compose para pilas de métricas. El panel se sirve junto con tu agente como un componente autónomo.

Características del panel

• Transmisión de eventos en vivo: transmisión en tiempo real impulsada por SSE de cada llamada al modelo, ejecución de herramientas, recuperación de conocimiento y recuperación de memoria en más de 60 tipos de eventos
• Contabilidad de tokens y costos: seguimiento por ejecución y agregado para ver exactamente a dónde va tu presupuesto
• Percentiles de latencia: métricas p50, p95, p99 en todas las ejecuciones para detectar regresiones al instante
• Análisis por herramienta: qué herramientas se llaman con más frecuencia, cuáles fallan y tiempos promedio de ejecución
• Reproducción de ejecuciones: haz clic en cualquier ejecución histórica y avanza paso a paso
• Comparación de ejecuciones: diferencia lado a lado de dos ejecuciones para ver cambios en prompts o diferentes llamadas a herramientas inmediatamente
• Gráficos de línea de tiempo: consumo de tokens, costos y tasas de error a lo largo del tiempo con intervalos de 5 minutos, 30 minutos, por hora y diarios

Enfoque de arquitectura

El sistema de observabilidad difiere de alternativas como LangSmith o Phoenix en varias formas:

• Autoalojado: Tus datos nunca salen de tu máquina sin dependencia de proveedores
• Configuración cero: No se requiere infraestructura separada ni procesos de recolección
• Integrado en la tubería: Los eventos se emiten desde dentro de la tubería de ejecución de 8 fases en lugar de parchearse mediante monkey-patching o instrumentación OTEL
• Basado en protocolos: Escribe una clase de 3 métodos para exportar a cualquier backend sin instalar SDKs

El mantenedor señala que esto no pretende reemplazar sistemas APM completos con características empresariales como RBAC y políticas de retención. Está diseñado para desarrolladores que construyen agentes y quieren ver qué está sucediendo durante el desarrollo.

El proyecto está actualmente en etapas tempranas con el mantenedor buscando contribuyentes adicionales. El framework está disponible en https://github.com/definableai/definable.ai.