Встроенная наблюдаемость для AI-агентов

Definable AI, фреймворк с открытым исходным кодом на Python, построенный на FastAPI для создания AI-агентов, добавил самодостаточную панель мониторинга, требующую минимальной настройки. В отличие от других фреймворков, где наблюдаемость рассматривается как второстепенная функция, требующая внешних сервисов, таких как LangSmith или Arize, эта функция встроена непосредственно в конвейер выполнения.

Настройка одним флагом

Чтобы включить панель мониторинга, добавьте один параметр при создании вашего агента:

from definable.agent import Agent

agent = Agent(
    model="openai/gpt-4o",
    tools=[get_weather, calculate],
    observability=True,  # <- эта строка
)
agent.serve(enable_server=True, port=8002)
Панель мониторинга доступна по адресу http://localhost:8002/obs/

Настройка не требует API-ключей, облачных аккаунтов или отдельной инфраструктуры, такой как Docker-compose для стека метрик. Панель мониторинга запускается вместе с вашим агентом как самодостаточный компонент.

Функции панели мониторинга

• Поток событий в реальном времени: Потоковая передача в реальном времени на основе SSE каждого вызова модели, выполнения инструментов, извлечения знаний и обращения к памяти для более чем 60 типов событий
• Учёт токенов и затрат: Отслеживание по отдельным запускам и в совокупности, чтобы точно видеть, куда уходит ваш бюджет
• Процентили задержки: Метрики p50, p95, p99 для всех запусков, чтобы мгновенно обнаруживать регрессии
• Аналитика по инструментам: Какие инструменты вызываются чаще всего, какие вызывают ошибки и среднее время выполнения
• Воспроизведение запусков: Переход к любому историческому запуску и пошаговое его воспроизведение
• Сравнение запусков: Сравнение двух запусков бок о бок для немедленного просмотра изменённых промптов или различных вызовов инструментов
• Диаграммы временной шкалы: Потребление токенов, затраты и частота ошибок с течением времени с интервалами в 5 минут, 30 минут, час и день

Архитектурный подход

Система наблюдаемости отличается от альтернатив, таких как LangSmith или Phoenix, несколькими способами:

• Самодостаточность: Ваши данные никогда не покидают вашу машину без привязки к поставщику
• Нулевая конфигурация: Не требуется отдельная инфраструктура или процессы сборщика
• Встроена в конвейер: События генерируются внутри 8-фазного конвейера выполнения, а не добавляются через monkey-patching или инструментирование OTEL
• На основе протокола: Напишите класс с 3 методами для экспорта в любую бэкенд-систему без установки SDK

Сопровождающий отмечает, что это не предназначено для замены полноценных систем APM с корпоративными функциями, такими как RBAC и политики хранения. Это разработано для разработчиков, создающих агентов, которые хотят видеть, что происходит во время разработки.

Проект в настоящее время находится на ранних стадиях, и сопровождающий ищет дополнительных участников. Фреймворк доступен по адресу https://github.com/definableai/definable.ai.