Torrix: Наблюдаемость LLM с самостоятельным хостингом без Postgres или Redis

Torrix — это инструмент observability для LLM с самостоятельным хостингом, предназначенный для команд, которые хотят видеть, что делают их агенты в производстве, без необходимости в Postgres, Redis или сложной инфраструктуре. Он работает как один Docker-контейнер на базе SQLite. Полная установка выглядит так:
curl -o docker-compose.yml https://raw.githubusercontent.com/torrix-ai/install/main/docker-compose.community.yml
docker compose upНикаких внешних зависимостей. Все данные хранятся в локальном файле SQLite на вашем компьютере. После запуска откройте http://localhost:8088 и создайте аккаунт.
Ключевые возможности
- Логирование вызовов LLM через HTTP-прокси или Python/Node.js SDK: токены, стоимость, задержка, полные трассировки запросов и ответов, захват токенов рассуждений.
- Поддержка провайдеров: OpenAI, Anthropic, Gemini, Groq, Mistral, Azure OpenAI и любые конечные точки, совместимые с OpenAI API.
- Прогнозирование затрат и жесткие бюджетные лимиты
- Маскировка PII
- Правила маршрутизации моделей
- Оценки с эталонными запусками и AI-судьей
- Библиотека промптов с историей версий
- Теги запусков для фильтрации по среде
- MCP-сервер, чтобы AI-ассистенты могли запрашивать ваши логи
- Прием OTLP/HTTP для приложений, уже использующих OpenTelemetry
Пример использования SDK (Python)
pip install torrix
import torrix
from openai import OpenAI
torrix.init(api_key="<your-torrix-api-key>", base_url="http://localhost:8088")
client = torrix.wrap(OpenAI(api_key="<your-openai-key>"))
response = client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "Hello!"}],
torrix_name="my-run",
)
print(response.choices[0].message.content)
Node.js SDK также доступен через npm install.
Лицензирование и масштабирование
Community-версия бесплатна для одного пользователя с 7-дневным хранением данных. Pro добавляет команды, RBAC, 30-дневное хранение, управление API-ключами, полнотекстовый поиск и журналы аудита. SQLite не подходит для высокой нагрузки по записи; этот инструмент рассчитан на команды, логирующие от сотен до нескольких тысяч вызовов LLM в день, а не миллионы.
📖 Читать полный источник: HN LLM Tools
👀 Смотрите также

Выпущен пакет навыков для разработки расширений Chrome с открытым исходным кодом
Разработчик quangpl упаковал четырёхлетний опыт разработки расширений для Chrome в восемь навыков AI-агента, охватывающих создание каркаса с WXT, генерацию манифеста, аудит безопасности, тестирование, генерацию ресурсов, публикацию и миграцию с MV2 на MV3.

Сообщество выпустило патч, добавляющий поддержку языков с письмом справа налево в Claude Desktop для Windows.
Разработчик создал патч, добавляющий правильную поддержку языков с письмом справа налево в Claude Desktop для Windows, исправляя некорректное отображение для иврита, арабского и других RTL-языков. Патч внедряет логику определения RTL в рендерер Electron-приложения и включает функции резервного копирования и восстановления.

ClawProxy: Самостоятельно размещаемый прокси-сервер с маршрутизацией ИИ и панелью управления
ClawProxy — это открытый, самостоятельно размещаемый прокси, который централизует управление несколькими ключами API для ИИ и моделями. Он предоставляет единую конечную точку, интеллектуальную ротацию ключей, резервные провайдеры и журналирование в реальном времени через React-панель управления.

AGI в md: 11 уровней когнитивного сжатия для системных промптов Claude
Репозиторий на GitHub документирует 11 уровней когнитивного сжатия, которые можно закодировать в системных промптах Claude, при этом Уровень 8 переходит от анализа к конструированию и улучшает производительность Haiku с 0/3 до 4/4. Проект включает 28 промптов, 299 сырых выводов и полные журналы экспериментов по 19 доменам.