DoomVLM: Open-Source-Tool zum Testen von Vision-Language-Models in Doom-Deathmatches

Was DoomVLM macht

DoomVLM ist ein Jupyter-Notebook, das Vision-Language-Modelle (VLMs) testet, indem es sie Doom spielen lässt. Es macht Screenshots von ViZDoom, zeichnet ein nummeriertes Spaltenraster darüber und sendet das Bild über eine OpenAI-kompatible API an ein beliebiges VLM. Das Modell hat zwei Werkzeuge: shoot(column) und move(direction), mit tool_choice: "required". Dies ist reine Vision-Inferenz – kein Reinforcement Learning oder Fine-Tuning.

Wichtige Funktionen und Updates

• Deathmatch-Modi: Zwei Modi hinzugefügt. Benchmark – Modelle spielen abwechselnd unter identischen Bedingungen gegen Bots für einen fairen Vergleich. Arena – alle spielen gleichzeitig über Multiprocessing; wer schneller inferiert, erhält mehr Züge.
• Multi-Agenten-Unterstützung: Bis zu 4 Agenten, jeder vollständig in der Benutzeroberfläche konfigurierbar: System-Prompt, Tool-Beschreibungen, Sampling-Parameter, Nachrichtenverlaufslänge, Rasterspalten usw. Sie können verschiedene Modellgrößen gegeneinander antreten lassen (0,8B vs 4B vs 9B) oder verschiedene Modelle (Qwen vs GPT-4o).
• API-Kompatibilität: Funktioniert mit jeder OpenAI-kompatiblen API – LM Studio, Ollama, vLLM, OpenRouter, OpenAI, Claude. Einfach die URL und das Modell in den Einstellungen austauschen.
• Aufzeichnung und Protokollierung: Episodenaufzeichnung in GIF/MP4 mit Overlays, die HP, Munition, Modellentscheidungen und Latenz anzeigen. Live-Scoreboard in Jupyter. Alle Ergebnisse werden im Ordner workspace/ gespeichert (Protokolle, Videos, Screenshots). Kann alles als einzelne ZIP-Datei heruntergeladen werden.

Leistung und Einrichtung

Leistung: Auf einem MacBook M1 Pro 16GB benötigt das 0,8B-Modell ~10 Sekunden pro Schritt. Auf einem RunPod L40S dauert es 0,5 Sekunden. Sie benötigen eine GPU für richtiges Arena-Gameplay.

Schnellstart:

LM Studio → lms get qwen-3.5-0.8b → lms server start → pip install -r requirements.txt → jupyter lab doom_vlm.ipynb → Run All

Das gesamte Projekt ist ein einzelnes Jupyter-Notebook unter MIT-Lizenz.

Aktueller Stand und Beobachtungen

Der Entwickler hat noch keine universellen Prompts gefunden, mit denen Qwen 3.5 jedes Szenario konsequent schlagen kann. Allgemeine Beobachtung: Einfache, kürzere Prompts liefern bessere Ergebnisse; Modelle scheitern bei übermäßig detaillierten Anweisungen.

Flaggschiff-Modelle wie GPT-4o oder Claude wurden noch nicht getestet, obwohl die Oberfläche sie unterstützt – Sie können sie von Ihrem lokalen Rechner aus ohne GPU ausführen, einfach den API-Schlüssel eingeben.

Das Tool ist jetzt ausgereift, und die Erkundung, welche Modell/Prompt/Einstellungs-Kombinationen am besten funktionieren, hat gerade erst begonnen. Der Entwickler ermutigt dazu, Erkenntnisse zu teilen: interessante Prompts, überraschende Ergebnisse mit verschiedenen Modellen, hilfreiche Einstellungen. Posten Sie Gameplay-Videos aus dem Ordner workspace/.