Torrix: Наблюдаемость LLM с самостоятельным хостингом без Postgres или Redis

Torrix — это инструмент observability для LLM с самостоятельным хостингом, предназначенный для команд, которые хотят видеть, что делают их агенты в производстве, без необходимости в Postgres, Redis или сложной инфраструктуре. Он работает как один Docker-контейнер на базе SQLite. Полная установка выглядит так:

curl -o docker-compose.yml https://raw.githubusercontent.com/torrix-ai/install/main/docker-compose.community.yml
docker compose up

Никаких внешних зависимостей. Все данные хранятся в локальном файле SQLite на вашем компьютере. После запуска откройте http://localhost:8088 и создайте аккаунт.

Ключевые возможности

• Логирование вызовов LLM через HTTP-прокси или Python/Node.js SDK: токены, стоимость, задержка, полные трассировки запросов и ответов, захват токенов рассуждений.
• Поддержка провайдеров: OpenAI, Anthropic, Gemini, Groq, Mistral, Azure OpenAI и любые конечные точки, совместимые с OpenAI API.
• Прогнозирование затрат и жесткие бюджетные лимиты
• Маскировка PII
• Правила маршрутизации моделей
• Оценки с эталонными запусками и AI-судьей
• Библиотека промптов с историей версий
• Теги запусков для фильтрации по среде
• MCP-сервер, чтобы AI-ассистенты могли запрашивать ваши логи
• Прием OTLP/HTTP для приложений, уже использующих OpenTelemetry

Пример использования SDK (Python)

pip install torrix

import torrix
from openai import OpenAI
torrix.init(api_key="<your-torrix-api-key>", base_url="http://localhost:8088")
client = torrix.wrap(OpenAI(api_key="<your-openai-key>"))
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Hello!"}],
    torrix_name="my-run",
)
print(response.choices[0].message.content)

Node.js SDK также доступен через npm install.

Лицензирование и масштабирование

Community-версия бесплатна для одного пользователя с 7-дневным хранением данных. Pro добавляет команды, RBAC, 30-дневное хранение, управление API-ключами, полнотекстовый поиск и журналы аудита. SQLite не подходит для высокой нагрузки по записи; этот инструмент рассчитан на команды, логирующие от сотен до нескольких тысяч вызовов LLM в день, а не миллионы.