civStation: Ein VLM-System zum Spielen von Civilization VI über natürliche Sprachbefehle

Was civStation tut

civStation ist ein Vision-Language-Modell (VLM)-System, das das Spielen von Civilization VI über natürliche Sprachbefehle ermöglicht. Anstatt direkter Maus-/Tastatursteuerung geben Benutzer hochrangige strategische Absichten ein, die das System in tatsächliche Spielaktionen übersetzt.

Architektur und Funktionalität

Das System verwendet eine 3-Schichten-Architektur:

• Strategieebene: Wandelt natürliche Sprachbefehle in strukturierte Ziele um, behält die langfristige Richtung bei und führt Aufgabenzerlegung durch. Befehle wie "nach Osten expandieren", "auf Wirtschaft konzentrieren" oder "auf einen Wissenschaftssieg abzielen" werden hier verarbeitet.
• Aktionsebene: Verwendet bildschirmbasiertes VLM zur Zustandsinterpretation und führt Maus-/Tastaturaktionen ohne Zugriff auf Spiel-APIs aus.
• HITL-Ebene: Ermöglicht Echtzeit-Eingriffe durch Menschen, Überschreibungsfähigkeiten und kontrollierbare Autonomie.

Technische Implementierungsdetails

Ein strategischer Befehl generiert mehrere Aktionssequenzen, die etwa 2–16 Modellaufrufe pro Aufgabe erfordern. Das System verwendet subagentenbasierte Ausführung für begrenzte Aufgaben wie Stadtverwaltung und Einheitenkontrolle.

civStation untersucht die Verschiebung von Schnittstellen von "Aktion → Absicht" anstelle traditioneller Reinforcement Learning-, Imitation Learning- oder skriptbasierter Ansätze. Dies stellt einen Wechsel von direkter Manipulation zu Delegation und Agentenorchestrierung dar.

Wichtige Herausforderungen und Einschränkungen

Das System steht vor mehreren technischen Herausforderungen:

• VLM-Wahrnehmungsfehler
• Ausführungsdrift
• Fehlende zuverlässige Verifizierungsmechanismen

Mehrstufige Ausführung führt zu Latenz- und API-Kostenabwägungen mit Ausweichstrategien, die die Leistung beeinträchtigen. Das System ist nicht vollständig autonom – es unterstützt menschliche Eingriffe für Echtzeit-Strategiekorrektur und -steuerung.

Weitreichende Implikationen

Dieses experimentelle System behandelt Agentenkontrolle und -verifizierung in reinen UI-Umgebungen. Der Fokus geht über das Gameplay hinaus und hebt die Mensch-System-Schnittstelle auf die Strategieebene, sodass Benutzer auf höheren Abstraktionsebenen arbeiten können, anstatt einzelne Aktionen zu verwalten.