Torrix : Observabilité LLM auto-hébergée sans Postgres ni Redis

Torrix est un outil d'observabilité pour LLM auto-hébergé conçu pour les équipes qui souhaitent voir ce que leurs agents font en production sans la surcharge de Postgres, Redis ou une infrastructure complexe. Il fonctionne comme un unique conteneur Docker soutenu par SQLite. L'installation complète est :

curl -o docker-compose.yml https://raw.githubusercontent.com/torrix-ai/install/main/docker-compose.community.yml
docker compose up

Aucune dépendance externe. Toutes les données restent dans un fichier SQLite local sur votre machine. Après le démarrage, ouvrez http://localhost:8088 et créez un compte.

Fonctionnalités clés

• Journalisation des appels LLM via proxy HTTP ou SDK Python/Node.js : tokens, coût, latence, traces complètes des prompts et réponses, capture des tokens de raisonnement.
• Support des fournisseurs : OpenAI, Anthropic, Gemini, Groq, Mistral, Azure OpenAI, et tout endpoint compatible avec l'API OpenAI.
• Prévision des coûts et limites budgétaires strictes
• Masquage des PII
• Règles de routage des modèles
• Évaluations avec exécutions de référence et juge IA
• Bibliothèque de prompts avec historique des versions
• Étiquettes d'exécution pour le filtrage par environnement
• Serveur MCP pour que les assistants IA puissent interroger vos propres logs
• Ingestion OTLP/HTTP pour les applications utilisant déjà OpenTelemetry

Exemple d'utilisation du SDK (Python)

pip install torrix

import torrix
from openai import OpenAI
torrix.init(api_key="<your-torrix-api-key>", base_url="http://localhost:8088")
client = torrix.wrap(OpenAI(api_key="<your-openai-key>"))
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Bonjour !"}],
    torrix_name="mon-execution",
)
print(response.choices[0].message.content)

Le SDK Node.js est également disponible via npm install.

Licence et passage à l'échelle

L'édition communautaire est gratuite pour un utilisateur avec une rétention de 7 jours. La version Pro ajoute les équipes, le RBAC, une rétention de 30 jours, la gestion des clés API, la recherche en texte intégral et les journaux d'audit. SQLite ne passe pas à l'échelle pour un débit d'écriture élevé ; cet outil est destiné aux équipes qui enregistrent des centaines à quelques milliers d'appels LLM par jour, pas des millions.