Запуск NemoClaw с локальным vLLM: Заметки по настройке и наблюдения по разработке агентов

Локальная настройка NemoClaw с vLLM

Разработчик поделился опытом запуска NVIDIA NemoClaw, платформы изолированных AI-агентов, с локальной моделью Nemotron 9B v2 с использованием vLLM на WSL2. Настройка основана на форке NemoClaw от jieunl24.

Ключевые технические детали

Маршрутизация вывода: Маршрутизация вывода в NemoClaw следует чистому пути: inference.local → gateway → vLLM. Однако первоначальные ошибки при подключении требовали сетевого хака из трёх слоёв, который с тех пор исправлен через PR #412.

Совместимость парсеров: Встроенные парсеры vLLM (qwen3_coder, nemotron_v3) несовместимы с моделями Nemotron v2. Вместо них нужны официальные плагины-парсеры NVIDIA из репозитория NeMo.

Разрыв в разработке агентов: OpenClaw как платформа для агентов предоставляет прочную инфраструктуру, но поставляется с минимальной инженерией промптов. Разрыв между "модель выдаёт текст" и "агент выполняет полезную работу" в основном связан с каркасом, а не с ограничениями возможностей модели.

Ресурсы

• Пост в блоге, охватывающий архитектуру, настройку парсеров vLLM и наблюдения по разработке агентов: https://github.com/soy-tuber/nemoclaw-local-inference-guide/blob/master/BLOG-openclaw-agent-engineering.md
• Руководство по настройке (V2) с маршрутизацией inference.local и без сетевых хаков: https://github.com/soy-tuber/nemoclaw-local-inference-guide
• Исходная проблема NemoClaw #315: https://github.com/NVIDIA/NemoClaw/issues/315

Эта настройка демонстрирует практическое локальное развёртывание платформ AI-агентов, выделяя как технические детали реализации, так и текущие проблемы в разработке агентов.