LLMock: Servidor de simulación basado en HTTP para pruebas deterministas de LLM entre procesos

LLMock es un servidor de simulación que intercepta las llamadas a la API de LLM al ejecutarse como un servidor HTTP real en un puerto específico, permitiendo pruebas deterministas en múltiples procesos sin acceder a las API de pago.

Detalles clave

La herramienta fue descubierta después de que un desarrollador gastara $12 ejecutando pruebas de Playwright contra las API reales de OpenAI. El problema ocurrió al usar MSW (Mock Service Worker), que parchea el módulo HTTP dentro del proceso de Node.js que llama a server.listen(), pero deja a procesos separados (como un agente de Python) completamente ajenos a la simulación.

Con LLMock, apuntas la variable de entorno OPENAI_BASE_URL al servidor de simulación desde cada proceso, independientemente de si es Node.js, Python o cualquier otro lenguaje:

const mock = new LLMock({ port: 5555 });
await mock.start();
process.env.OPENAI_BASE_URL = "http://localhost:5555/v1";

Los fixtures son archivos JSON simples que coinciden con subcadenas de mensajes de usuario o patrones de expresiones regulares, eliminando el código repetitivo de los manejadores:

{
  "fixtures": [
    {
      "match": { "userMessage": "stock price of AAPL" },
      "response": { "content": "The current stock price of Apple Inc. (AAPL) is $150.25." }
    }
  ]
}

Características clave de la fuente:

• Habla correctamente el formato SSE real de OpenAI/Claude/Gemini (equivocarse en los tipos de eventos rompe la transmisión de formas sutiles)
• Soporte completo para llamadas a herramientas: los marcos de agentes las ejecutan normalmente
• Enrutamiento por predicados para inspeccionar el estado del mensaje del sistema o el historial de mensajes en flujos multiagente
• Registro de solicitudes para verificar lo que realmente se llamó, no solo si la prueba pasó
• Cero dependencias

El desarrollador terminó con 9 llamadas a LLM en 3 pruebas de Playwright, costando $0 y produciendo resultados deterministas en cada ejecución.