Torrix: PostgresやRedisを必要としないセルフホスト型LLMオブザーバビリティ

Torrixは、PostgresやRedis、複雑なインフラストラクチャを必要とせずに、エージェントが本番環境で何をしているかを把握したいチーム向けの、セルフホスト型LLM観測ツールです。SQLiteをバックエンドとする単一のDockerコンテナとして動作します。インストールは以下の通りです。

curl -o docker-compose.yml https://raw.githubusercontent.com/torrix-ai/install/main/docker-compose.community.yml
docker compose up

外部依存関係はありません。すべてのデータはマシン上のローカルSQLiteファイルに保存されます。起動後、http://localhost:8088 にアクセスしてアカウントを作成してください。

主な機能

• LLMコールのログ記録: HTTPプロキシまたはPython/Node.js SDK経由。トークン、コスト、レイテンシ、完全なプロンプトとレスポンスのトレース、推論トークンの取得。
• プロバイダーサポート: OpenAI、Anthropic、Gemini、Groq、Mistral、Azure OpenAI、およびOpenAI API互換のエンドポイント。
• コスト予測とハードな予算上限設定
• PIIマスキング
• モデルルーティングルール
• ゴールデンランとAIジャッジによる評価
• バージョン履歴付きプロンプトライブラリ
• 環境別フィルタリングのための実行タグ
• MCPサーバー: AIアシスタントが自身のログをクエリ可能に
• OTLP/HTTPインジェスト: すでにOpenTelemetryを使用しているアプリ向け

SDK使用例（Python）

pip install torrix

import torrix
from openai import OpenAI
torrix.init(api_key="<your-torrix-api-key>", base_url="http://localhost:8088")
client = torrix.wrap(OpenAI(api_key="<your-openai-key>"))
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Hello!"}],
    torrix_name="my-run",
)
print(response.choices[0].message.content)

Node.js SDKはnpm installでも利用可能です。

ライセンスとスケーリング

コミュニティエディションは1ユーザー、7日間の保持期間で無料です。Proではチーム、RBAC、30日間保持、APIキー管理、全文検索、監査ログが追加されます。SQLiteは高い書き込みスループットにはスケールしません。これは、1日あたり数百から数千のLLMコールをログに記録するチームを対象としており、数百万のコールには対応していません。