LLMock: Servidor de simulação baseado em HTTP para testes determinísticos de LLM entre processos

LLMock é um servidor de simulação que intercepta chamadas de API de LLM executando-se como um servidor HTTP real em uma porta especificada, permitindo testes determinísticos em múltiplos processos sem acessar APIs pagas.

Detalhes Principais

A ferramenta foi descoberta após um desenvolvedor gastar US$ 12 executando testes Playwright contra APIs reais da OpenAI. O problema ocorreu ao usar MSW (Mock Service Worker), que modifica o módulo HTTP dentro do processo Node.js que chama server.listen(), mas deixa processos separados (como um agente Python) completamente cegos à simulação.

Com LLMock, você aponta a variável de ambiente OPENAI_BASE_URL para o servidor de simulação de cada processo, independentemente de ser Node.js, Python ou qualquer outra linguagem:

const mock = new LLMock({ port: 5555 });
await mock.start();
process.env.OPENAI_BASE_URL = "http://localhost:5555/v1";

Fixtures são arquivos JSON simples que correspondem a substrings de mensagens do usuário ou padrões regex, eliminando código repetitivo de manipuladores:

{
  "fixtures": [
    {
      "match": { "userMessage": "preço da ação da AAPL" },
      "response": { "content": "O preço atual da ação da Apple Inc. (AAPL) é US$ 150,25." }
    }
  ]
}

Principais recursos da fonte:

• Fala o formato SSE real da OpenAI/Claude/Gemini corretamente (errar tipos de eventos quebra o streaming de maneiras sutis)
• Suporte completo a chamadas de ferramentas - frameworks de agente as executam normalmente
• Roteamento por predicados para inspecionar estado de prompt do sistema ou histórico de mensagens para fluxos multiagente
• Registro de solicitações para verificar o que foi realmente chamado, não apenas se o teste passou
• Zero dependências

O desenvolvedor terminou com 9 chamadas LLM em 3 testes Playwright, custando US$ 0 e produzindo resultados determinísticos a cada execução.