Torrix: LLM-Beobachtbarkeit selbst gehostet ohne Postgres oder Redis

Torrix ist ein selbst gehostetes LLM-Beobachtungstool, das für Teams entwickelt wurde, die sehen möchten, was ihre Agenten in der Produktion tun – ohne den Overhead von Postgres, Redis oder komplexer Infrastruktur. Es läuft als einzelner Docker-Container mit SQLite-Backend. Die vollständige Installation erfolgt mit:

curl -o docker-compose.yml https://raw.githubusercontent.com/torrix-ai/install/main/docker-compose.community.yml
docker compose up

Keine externen Abhängigkeiten. Alle Daten bleiben in einer lokalen SQLite-Datei auf Ihrem Rechner. Nach dem Start öffnen Sie http://localhost:8088 und erstellen ein Konto.

Hauptfunktionen

• LLM-Aufrufprotokollierung via HTTP-Proxy oder Python/Node.js SDK: Token, Kosten, Latenz, vollständige Prompt- und Antwort-Traces, Erfassung von Reasoning-Token.
• Provider-Unterstützung: OpenAI, Anthropic, Gemini, Groq, Mistral, Azure OpenAI und jeder OpenAI-API-kompatible Endpunkt.
• Kostenprognose und harte Budgetgrenzen
• PII-Maskierung
• Modell-Routing-Regeln
• Evals mit goldenen Runs und KI-Judge
• Prompt-Bibliothek mit Versionsverlauf
• Run-Tags zur Filterung nach Umgebung
• MCP-Server, damit KI-Assistenten Ihre eigenen Logs abfragen können
• OTLP/HTTP-Aufnahme für Apps, die bereits OpenTelemetry verwenden

SDK-Nutzungsbeispiel (Python)

pip install torrix

import torrix
from openai import OpenAI
torrix.init(api_key="<your-torrix-api-key>", base_url="http://localhost:8088")
client = torrix.wrap(OpenAI(api_key="<your-openai-key>"))
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Hallo!"}],
    torrix_name="my-run",
)
print(response.choices[0].message.content)

Das Node.js SDK ist ebenfalls über npm install verfügbar.

Lizenzierung und Skalierung

Die Community-Edition ist kostenlos für einen Benutzer mit 7-tägiger Aufbewahrungsfrist. Pro fügt Teams, RBAC, 30-tägige Aufbewahrung, API-Key-Verwaltung, Volltextsuche und Audit-Logs hinzu. SQLite skaliert nicht auf hohe Schreibdurchsätze; dies richtet sich an Teams, die täglich einige hundert bis wenige tausend LLM-Aufrufe protokollieren, nicht Millionen.