civStation: Open-Source VLM-Harness für die natürliche Sprachsteuerung von Civilization VI
Was civStation macht
civStation ist ein Open-Source, steuerbarer Computer-Use-Stack und VLM-Harness, der speziell für Civilization VI entwickelt wurde. Anstatt das Spiel als ein Problem der UI-Automatisierung auf niedriger Ebene zu behandeln, konzentriert sich das Projekt auf die Steuerung auf Strategieebene. Sie können Eingaben in natürlicher Sprache wie "nach Osten expandieren", "diese Runde auf Wirtschaft konzentrieren" oder "auf einen Wissenschaftssieg abzielen" geben, und das System übersetzt diese Absicht in tatsächliche Aktionen im Spiel.
Kernarchitektur und Zyklus
Das System implementiert einen vollständigen Zyklus: Bildschirmbeobachtung → Strategieinterpretation → Aktionsplanung → Ausführung → menschliche Übersteuerung. Dies verschiebt die Schnittstelle von der direkten Ausführung hin zur Absichtsäußerung und kontrollierbaren Delegation. Das Ziel war nicht nur, einen Agenten Civilization VI spielen zu lassen, sondern einen Zyklus aufzubauen, in dem das Modell den Spielbildschirm beobachten, Strategien auf hoher Ebene interpretieren, Aktionen planen, diese über Maus und Tastatur ausführen und live durch Human-in-the-Loop (HitL) oder MCP unterbrochen oder angeleitet werden kann.
Aktuelle Funktionen und Fähigkeiten
- Live-Desktop-Beobachtung
- Echte UI-Interaktion auf dem Host-Computer
- Laufzeitsteuerungsschnittstelle
- Human-in-the-Loop-Steuerung
- MCP/Skill-Erweiterbarkeit
- Steuerung durch natürliche Sprache oder Spracheingabe
Forschungsfragen und Motivation
Der Ersteller untersucht mehrere Fragen: Wo sollte die Grenze zwischen Strategie und Ausführung liegen? Wie steuerbar kann ein Computer-Use-Agent sein, bevor der Zyklus zu langsam oder fehleranfällig wird? Macht dieser Ansatz nur für Spiele Sinn oder auch für breitere Desktop-Arbeitsabläufe?
Die Motivation ergibt sich aus der Beobachtung, dass die meisten Computer-Use-Demonstrationen sich auf "das Modell beim Klicken beobachten" konzentrieren, während civStation auf etwas näher an einer steuerbaren Laufzeitumgebung abzielt, in der Sie auf der Ebene der Strategie agieren können, anstatt mit roher UI-Interaktion. Eine weitere Motivation war zu testen, ob Sprache und natürliche Sprache, kombiniert mit Computer-Use, eine andere Interaktionsebene eröffnen könnten, auf der der Spieler eher wie ein Stratege agiert, der Anweisungen gibt, anstatt Aktionen direkt auszuführen.
Repository und Verfügbarkeit
Das Projekt ist verfügbar unter: https://github.com/NomaDamas/civStation.git
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
GSD-Lite: Ein Zustandsautomat für Claude-Code, der TDD erzwingt und das Überspringen von Tests verhindert
GSD-Lite ist ein Open-Source-MCP-Server, der einen 12-Zustands-Workflow-Automaten zu Claude Code hinzufügt und testgetriebene Entwicklung mit spezifischen Anti-Rationalisierungs-Prompts sowie separaten Agentenkontexten für Ausführung, Überprüfung und Fehlerbehebung erzwingt.
LetMeWatch: Python-Plugin fügt Claude Videoanalyse via FFmpeg-Szenenerkennung hinzu
Ein Entwickler hat ein Python-Plugin namens LetMeWatch mit etwa 200 Codezeilen erstellt, das Claude ermöglicht, Videos zu analysieren, indem es FFmpeg zur Szenenerkennung nutzt, nur Frames extrahiert, in denen sich die visuellen Inhalte ändern, diese zeitlich einordnet und in Batches an Claudes multimodale Vision weitergibt.
Bin ich OpenAI-kompatibel: Tool & Dokumentation für einheitliche API-Signaturen
Ein neues Tool und eine Dokumentationsseite dokumentieren die OpenAI-Kompatibilität von Open-Source-KI-Engines wie vLLM und llama.cpp, einschließlich offizieller und inoffizieller Signaturen.
OpenClaw Agent Memory Plugin: Persistenter Kontext über Sitzungen hinweg
Ein Entwickler hat ein Memory-Layer-Plugin für OpenClaw erstellt, das vor jedem Zug relevanten Kontext aus vergangenen Gesprächen einspielt und nach jedem Zug neue Fakten und Ereignisse speichert, wodurch das Problem gelöst wird, dass Agenten zwischen Sitzungen alles vergessen.