Torrix: Observabilidade de LLM Auto-Hospedada Sem Postgres ou Redis

Torrix é uma ferramenta de observabilidade para LLMs auto-hospedada, projetada para equipes que desejam ver o que seus agentes estão fazendo em produção sem a sobrecarga de Postgres, Redis ou infraestrutura complexa. Ela roda como um único contêiner Docker com SQLite. A instalação completa é:

curl -o docker-compose.yml https://raw.githubusercontent.com/torrix-ai/install/main/docker-compose.community.yml
docker compose up

Sem dependências externas. Todos os dados ficam em um arquivo SQLite local na sua máquina. Após a inicialização, abra http://localhost:8088 e crie uma conta.

Principais Funcionalidades

• Registro de chamadas de LLM via proxy HTTP ou SDK Python/Node.js: tokens, custo, latência, rastreamento completo de prompts e respostas, captura de tokens de raciocínio.
• Suporte a provedores: OpenAI, Anthropic, Gemini, Groq, Mistral, Azure OpenAI e qualquer endpoint compatível com a API da OpenAI.
• Previsão de custos e limites de orçamento rígidos
• Mascaramento de PII
• Regras de roteamento de modelos
• Avaliações com execuções de ouro e juiz de IA
• Biblioteca de prompts com histórico de versões
• Tags de execução para filtragem por ambiente
• Servidor MCP para que Assistentes de IA possam consultar seus próprios logs
• Ingestão OTLP/HTTP para aplicativos que já usam OpenTelemetry

Exemplo de Uso do SDK (Python)

pip install torrix

import torrix
from openai import OpenAI
torrix.init(api_key="<sua-chave-torrix-api>", base_url="http://localhost:8088")
client = torrix.wrap(OpenAI(api_key="<sua-chave-openai>"))
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Olá!"}],
    torrix_name="minha-execucao",
)
print(response.choices[0].message.content)

O SDK Node.js também está disponível via npm install.

Licenciamento e Escalabilidade

A edição comunitária é gratuita para um usuário com retenção de 7 dias. A versão Pro adiciona equipes, RBAC, retenção de 30 dias, gerenciamento de chaves de API, pesquisa em texto completo e logs de auditoria. SQLite não escala para alta taxa de gravação; esta ferramenta é direcionada para equipes que registram centenas a alguns milhares de chamadas de LLM por dia, não milhões.