DoomVLM: Herramienta de Código Abierto para Probar Modelos de Lenguaje Visual en Combates a Muerte de Doom

Qué hace DoomVLM

DoomVLM es un cuaderno Jupyter que prueba modelos de lenguaje visual (VLMs) haciéndolos jugar Doom. Toma capturas de pantalla de ViZDoom, dibuja una cuadrícula de columnas numeradas encima y envía la imagen a cualquier VLM mediante una API compatible con OpenAI. El modelo tiene dos herramientas: shoot(column) y move(direction), con tool_choice: "required". Esto es inferencia visual pura—sin aprendizaje por refuerzo ni ajuste fino.

Características clave y actualizaciones

• Modos de combate a muerte: Se añadieron dos modos. Benchmark—los modelos juegan por turnos contra bots en condiciones idénticas para una comparación justa. Arena—todos juegan simultáneamente mediante multiprocesamiento; quien infiera más rápido obtiene más turnos.
• Soporte multiagente: Hasta 4 agentes, cada uno completamente configurable en la interfaz: instrucción del sistema, descripciones de herramientas, parámetros de muestreo, longitud del historial de mensajes, columnas de la cuadrícula, etc. Puedes enfrentar diferentes tamaños de modelo entre sí (0.8B vs 4B vs 9B) o diferentes modelos (Qwen vs GPT-4o).
• Compatibilidad API: Funciona con cualquier API compatible con OpenAI—LM Studio, Ollama, vLLM, OpenRouter, OpenAI, Claude. Solo cambia la URL y el modelo en la configuración.
• Grabación y registro: Grabación de episodios en GIF/MP4 con superposiciones mostrando HP, munición, decisiones del modelo y latencia. Tabla de puntuaciones en vivo en Jupyter. Todos los resultados se guardan en la carpeta workspace/ (registros, videos, capturas de pantalla). Puedes descargar todo como un único ZIP.

Rendimiento y configuración

Rendimiento: En un MacBook M1 Pro 16GB, el modelo de 0.8B tarda ~10 segundos por paso. En un RunPod L40S, tarda 0.5 segundos. Necesitas una GPU para un juego de arena adecuado.

Inicio rápido:

LM Studio → lms get qwen-3.5-0.8b → lms server start → pip install -r requirements.txt → jupyter lab doom_vlm.ipynb → Run All

Todo el proyecto es un único cuaderno Jupyter bajo licencia MIT.

Estado actual y observaciones

El desarrollador no ha encontrado instrucciones universales que permitan a Qwen 3.5 superar consistentemente cada escenario. Observación general: las instrucciones más simples y cortas producen mejores resultados; los modelos se bloquean con instrucciones excesivamente detalladas.

Modelos insignia como GPT-4o o Claude aún no han sido probados, aunque la interfaz los soporta—puedes ejecutarlos desde tu máquina local sin GPU, solo introduce la clave API.

La herramienta ahora está pulida, y la exploración de qué combinaciones de modelo/instrucción/configuración funcionan mejor apenas comienza. El desarrollador anima a compartir hallazgos: instrucciones interesantes, resultados sorprendentes con diferentes modelos, configuraciones que ayudaron. Publica videos de juego de la carpeta workspace/.