DoomVLM: Инструмент с открытым исходным кодом для тестирования моделей "визуальный язык" в дуэлях на выживание в Doom

Что делает DoomVLM

DoomVLM — это блокнот Jupyter, который тестирует визуально-языковые модели (VLM), заставляя их играть в Doom. Он делает скриншоты из ViZDoom, рисует сверху пронумерованную сетку столбцов и отправляет изображение любой VLM через совместимый с OpenAI API. У модели есть два инструмента: shoot(column) и move(direction), с tool_choice: "required". Это чисто визуальный вывод — без обучения с подкреплением или дообучения.

Ключевые особенности и обновления

• Режимы Deathmatch: Добавлено два режима. Benchmark — модели по очереди играют против ботов в одинаковых условиях для честного сравнения. Arena — все играют одновременно через многопроцессорность; у кого вывод быстрее, тот получает больше ходов.
• Поддержка нескольких агентов: До 4 агентов, каждый полностью настраивается в интерфейсе: системный промпт, описания инструментов, параметры сэмплирования, длина истории сообщений, количество столбцов сетки и т.д. Можно сталкивать разные размеры моделей друг с другом (0.8B против 4B против 9B) или разные модели (Qwen против GPT-4o).
• Совместимость API: Работает с любым совместимым с OpenAI API — LM Studio, Ollama, vLLM, OpenRouter, OpenAI, Claude. Просто замените URL и модель в настройках.
• Запись и логирование: Запись эпизодов в GIF/MP4 с оверлеями, показывающими HP, боеприпасы, решения модели и задержки. Живая таблица результатов в Jupyter. Все результаты сохраняются в папку workspace/ (логи, видео, скриншоты). Можно скачать всё одним ZIP-архивом.

Производительность и настройка

Производительность: На MacBook M1 Pro 16GB модель 0.8B занимает ~10 секунд на шаг. На RunPod L40S — 0.5 секунды. Для полноценной игры в режиме arena нужен GPU.

Быстрый старт:

LM Studio → lms get qwen-3.5-0.8b → lms server start → pip install -r requirements.txt → jupyter lab doom_vlm.ipynb → Run All

Весь проект — это единый блокнот Jupyter под лицензией MIT.

Текущее состояние и наблюдения

Разработчик не нашёл универсальных промптов, которые позволяли бы Qwen 3.5 стабильно побеждать в каждом сценарии. Общее наблюдение: более простые и короткие промпты дают лучшие результаты; модели «захлёбываются» от излишне детальных инструкций.

Флагманские модели вроде GPT-4o или Claude ещё не тестировались, хотя интерфейс их поддерживает — можно запускать их с локальной машины без GPU, просто вставив API-ключ.

Инструмент теперь отполирован, и исследование того, какие комбинации модели/промпта/настроек работают лучше всего, только начинается. Разработчик призывает делиться находками: интересными промптами, неожиданными результатами с разными моделями, настройками, которые помогли. Публикуйте видео геймплея из папки workspace/.