Observabilidade integrada para agentes de IA

Definable AI, um framework Python de código aberto construído sobre FastAPI para criar agentes de IA, adicionou um painel de observabilidade auto-hospedado que requer configuração mínima. Diferente de outros frameworks que tratam a observabilidade como uma reflexão tardia exigindo serviços externos como LangSmith ou Arize, este recurso é construído diretamente no pipeline de execução.

Configuração com uma flag

Para habilitar o painel, adicione um único parâmetro ao criar seu agente:

from definable.agent import Agent

agent = Agent(
    model="openai/gpt-4o",
    tools=[get_weather, calculate],
    observability=True,  # <- esta linha
)
agent.serve(enable_server=True, port=8002)
Painel disponível em http://localhost:8002/obs/

A configuração não requer chaves de API, contas em nuvem ou infraestrutura separada como Docker-compose para pilhas de métricas. O painel é servido junto com seu agente como um componente autônomo.

Recursos do painel

• Stream de eventos ao vivo: Streaming em tempo real alimentado por SSE de cada chamada de modelo, execução de ferramenta, recuperação de conhecimento e recall de memória em mais de 60 tipos de eventos
• Contabilidade de tokens e custos: Rastreamento por execução e agregado para ver exatamente para onde seu orçamento está indo
• Percentis de latência: Métricas p50, p95, p99 em todas as execuções para identificar regressões instantaneamente
• Análises por ferramenta: Quais ferramentas são chamadas com mais frequência, quais apresentam erros e tempos médios de execução
• Reprodução de execuções: Clique em qualquer execução histórica e percorra-a passo a passo
• Comparação de execuções: Diferença lado a lado de duas execuções para ver imediatamente prompts alterados ou chamadas de ferramentas diferentes
• Gráficos de linha do tempo: Consumo de tokens, custos e taxas de erro ao longo do tempo com intervalos de 5 minutos, 30 minutos, hora e dia

Abordagem arquitetural

O sistema de observabilidade difere de alternativas como LangSmith ou Phoenix de várias maneiras:

• Auto-hospedado: Seus dados nunca saem da sua máquina sem lock-in de fornecedor
• Configuração zero: Nenhuma infraestrutura separada ou processos de coletor necessários
• Integrado ao pipeline: Os eventos são emitidos de dentro do pipeline de execução de 8 fases em vez de serem aplicados via monkey-patching ou instrumentação OTEL
• Baseado em protocolo: Escreva uma classe de 3 métodos para exportar para qualquer backend sem instalar SDKs

O mantenedor observa que isso não pretende substituir sistemas APM completos com recursos empresariais como RBAC e políticas de retenção. É projetado para desenvolvedores construindo agentes que querem ver o que está acontecendo durante o desenvolvimento.

O projeto está atualmente em estágios iniciais com o mantenedor buscando contribuidores adicionais. O framework está disponível em https://github.com/definableai/definable.ai.