DoomVLM: Open-Source-Tool zum Testen von Vision-Language-Models in Doom-Deathmatches

Was DoomVLM macht
DoomVLM ist ein Jupyter-Notebook, das Vision-Language-Modelle (VLMs) testet, indem es sie Doom spielen lässt. Es macht Screenshots von ViZDoom, zeichnet ein nummeriertes Spaltenraster darüber und sendet das Bild über eine OpenAI-kompatible API an ein beliebiges VLM. Das Modell hat zwei Werkzeuge: shoot(column) und move(direction), mit tool_choice: "required". Dies ist reine Vision-Inferenz – kein Reinforcement Learning oder Fine-Tuning.
Wichtige Funktionen und Updates
- Deathmatch-Modi: Zwei Modi hinzugefügt. Benchmark – Modelle spielen abwechselnd unter identischen Bedingungen gegen Bots für einen fairen Vergleich. Arena – alle spielen gleichzeitig über Multiprocessing; wer schneller inferiert, erhält mehr Züge.
- Multi-Agenten-Unterstützung: Bis zu 4 Agenten, jeder vollständig in der Benutzeroberfläche konfigurierbar: System-Prompt, Tool-Beschreibungen, Sampling-Parameter, Nachrichtenverlaufslänge, Rasterspalten usw. Sie können verschiedene Modellgrößen gegeneinander antreten lassen (0,8B vs 4B vs 9B) oder verschiedene Modelle (Qwen vs GPT-4o).
- API-Kompatibilität: Funktioniert mit jeder OpenAI-kompatiblen API – LM Studio, Ollama, vLLM, OpenRouter, OpenAI, Claude. Einfach die URL und das Modell in den Einstellungen austauschen.
- Aufzeichnung und Protokollierung: Episodenaufzeichnung in GIF/MP4 mit Overlays, die HP, Munition, Modellentscheidungen und Latenz anzeigen. Live-Scoreboard in Jupyter. Alle Ergebnisse werden im Ordner
workspace/gespeichert (Protokolle, Videos, Screenshots). Kann alles als einzelne ZIP-Datei heruntergeladen werden.
Leistung und Einrichtung
Leistung: Auf einem MacBook M1 Pro 16GB benötigt das 0,8B-Modell ~10 Sekunden pro Schritt. Auf einem RunPod L40S dauert es 0,5 Sekunden. Sie benötigen eine GPU für richtiges Arena-Gameplay.
Schnellstart:
LM Studio → lms get qwen-3.5-0.8b → lms server start → pip install -r requirements.txt → jupyter lab doom_vlm.ipynb → Run All
Das gesamte Projekt ist ein einzelnes Jupyter-Notebook unter MIT-Lizenz.
Aktueller Stand und Beobachtungen
Der Entwickler hat noch keine universellen Prompts gefunden, mit denen Qwen 3.5 jedes Szenario konsequent schlagen kann. Allgemeine Beobachtung: Einfache, kürzere Prompts liefern bessere Ergebnisse; Modelle scheitern bei übermäßig detaillierten Anweisungen.
Flaggschiff-Modelle wie GPT-4o oder Claude wurden noch nicht getestet, obwohl die Oberfläche sie unterstützt – Sie können sie von Ihrem lokalen Rechner aus ohne GPU ausführen, einfach den API-Schlüssel eingeben.
Das Tool ist jetzt ausgereift, und die Erkundung, welche Modell/Prompt/Einstellungs-Kombinationen am besten funktionieren, hat gerade erst begonnen. Der Entwickler ermutigt dazu, Erkenntnisse zu teilen: interessante Prompts, überraschende Ergebnisse mit verschiedenen Modellen, hilfreiche Einstellungen. Posten Sie Gameplay-Videos aus dem Ordner workspace/.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch

Linki v2: Open-Source KI-SDR für LinkedIn + Kaltmails mit selbst gehostetem Agenten
Linki v2 ist ein selbst gehostetes Tool zur LinkedIn-Automatisierung und Kaltakquise per E-Mail mit einem KI-Agenten, der personalisierte Nachrichten für jeden Lead verfasst. Keine Pro-Platz-Lizenzgebühren, Ihre Daten bleiben lokal.

Silos-Dashboard: Open-Source-Web-UI zur Verwaltung von OpenClaw-Agenten
Silos Dashboard ist eine MIT-lizenzierte Web-UI zur Verwaltung von OpenClaw-Agenten, die Konfigurationsdateien und die CLI durch eine einzige Oberfläche ersetzt. Sie bietet Agentenverwaltung, Live-Chat mit Streaming, Skill-Installation, Task-Boards, Kanal-Integrationen und Analysen.

Gehirn: Ein persistentes Fehlerspeichersystem für Claude Code über MCP
Brain ist ein Open-Source-MCP-Server, der Claude Code persistenten, projektübergreifenden Speicher für Fehler und Lösungen bietet. Er erfasst Fehlerkontexte, schlägt bewährte Lösungen mit Zuverlässigkeitsbewertungen vor und baut ein gewichtetes Synapsennetzwerk auf, das Fehler, Lösungen und Codemodule über alle Projekte hinweg verbindet.

KI-Agenten-Sitzungszentrum: 3D-Dashboard zur Überwachung von Claude-Code-Sitzungen
AI Agent Session Center ist ein Echtzeit-Dashboard, das Claude Code-Sitzungen als 3D-Roboter in einer Cyberdrome visualisiert, mit Animationen, die den Agentenstatus anzeigen, und Funktionen wie Live-Terminal-Ansichten, Genehmigungsbenachrichtigungen und Sitzungsfortsetzung. Die Installation erfolgt über npx mit leichtgewichtigen Bash-Hooks.