LLMock: HTTP-сервер для мокинга, обеспечивающий детерминированное тестирование LLM между процессами
LLMock — это мокинг-сервер, который перехватывает вызовы LLM API, работая как реальный HTTP-сервер на указанном порту, что позволяет проводить детерминированное тестирование в нескольких процессах без обращения к платным API.
Ключевые детали
Инструмент был обнаружен после того, как разработчик потратил $12 на запуск тестов Playwright против реальных API OpenAI. Проблема возникла при использовании MSW (Mock Service Worker), который патчит HTTP-модуль внутри процесса Node.js, вызывающего server.listen(), но оставляет отдельные процессы (например, агент на Python) полностью невидимыми для мокинга.
С LLMock вы указываете переменную окружения OPENAI_BASE_URL на мок-сервер из любого процесса, независимо от того, Node.js это, Python или любой другой язык:
const mock = new LLMock({ port: 5555 });
await mock.start();
process.env.OPENAI_BASE_URL = "http://localhost:5555/v1";Фикстуры — это простые JSON-файлы, которые сопоставляются по подстрокам пользовательских сообщений или регулярным выражениям, устраняя шаблонный код обработчиков:
{
"fixtures": [
{
"match": { "userMessage": "stock price of AAPL" },
"response": { "content": "The current stock price of Apple Inc. (AAPL) is $150.25." }
}
]
}Ключевые особенности из источника:
- Корректно использует фактический формат SSE OpenAI/Claude/Gemini (ошибки в типах событий незаметно ломают стриминг)
- Полная поддержка вызовов инструментов — фреймворки агентов выполняют их как обычно
- Предикатная маршрутизация для проверки состояния системного промпта или истории сообщений в мультиагентных потоках
- Журнал запросов для проверки того, что было фактически вызвано, а не просто прошёл ли тест
- Нет зависимостей
В итоге у разработчика получилось 9 вызовов LLM в 3 тестах Playwright, стоимостью $0 и с детерминированными результатами при каждом запуске.
👀 Смотрите также
PocketBot: ИИ компилирует автоматизации в JavaScript для экономичного, детерминированного планирования.
PocketBot решает проблемы стоимости API и оборудования, компилируя запросы на естественном языке в автономные JavaScript-скрипты, которые запускаются по расписанию без вызовов LLM во время выполнения. Инструмент использует ИИ только один раз для написания кода, а затем выполняет его детерминированно с более чем 20 интеграциями, включая Google Suite, Slack и Notion.
Flotilla v0.5.0 перерабатывает фоновое выполнение, чтобы обойти лимиты кредитов Claude SDK
Flotilla v0.5.0 заменяет последовательное выполнение агентов неблокирующими параллельными циклами, тайм-аутами по 30 минут на агента и локальным делегированием для снижения расхода кредитов SDK.
Архитектура промптов Claude Code, реконструированная для локальных моделей
Чистая реимплементация архитектуры из 26 промптов Claude Code теперь доступна на GitHub, предлагая системные промпты, промпты для инструментов, правила безопасности, сжатие памяти и шаблоны проверки для создания кодирующих агентов на локальных моделях, таких как Ollama, llama.cpp или vLLM.
Инструмент Skills Creator для OpenClaw помогает разработчикам упаковывать рабочие процессы.
Разработчик создал навык под названием skills-creator, который помогает пользователям создавать качественные навыки для OpenClaw, решая распространённые проблемы, такие как расплывчатые описания и инструкции, похожие на документацию. Он доступен на ClawHub и предлагает подход, ориентированный на дизайн, с формулами описаний, контрольными списками и уровнями сложности.