civStation : Un système VLM pour jouer à Civilization VI via des commandes en langage naturel

Ce que fait civStation

civStation est un système de modèle vision-langage (VLM) qui permet de jouer à Civilization VI via des commandes en langage naturel. Au lieu d'un contrôle direct par souris/clavier, les utilisateurs émettent des intentions stratégiques de haut niveau que le système traduit en actions réelles dans le jeu.

Architecture et fonctionnalités

Le système emploie une architecture à 3 couches :

• Couche stratégique : Convertit les commandes en langage naturel en objectifs structurés, maintient une direction à long terme et effectue la décomposition des tâches. Les commandes comme "étends-toi vers l'est", "concentre-toi sur l'économie" ou "vise une victoire scientifique" sont traitées ici.
• Couche d'action : Utilise un VLM basé sur l'écran pour l'interprétation de l'état et exécute les actions souris/clavier sans accéder aux API du jeu.
• Couche HITL : Permet une intervention humaine en temps réel, des capacités de contournement et une autonomie contrôlable.

Détails de l'implémentation technique

Une commande stratégique génère plusieurs séquences d'actions, nécessitant environ 2 à 16 appels de modèle par tâche. Le système utilise une exécution basée sur des sous-agents pour des tâches délimitées telles que la gestion des villes et le contrôle des unités.

civStation explore le déplacement des interfaces de "action → intention" au lieu des approches traditionnelles d'apprentissage par renforcement, d'apprentissage par imitation ou de scripts. Cela représente un passage de la manipulation directe à la délégation et à l'orchestration d'agents.

Défis et limites clés

Le système fait face à plusieurs défis techniques :

• Erreurs de perception du VLM
• Dérive d'exécution
• Manque de mécanismes de vérification fiables

L'exécution en plusieurs étapes introduit des compromis de latence et de coût d'API, avec des stratégies de repli qui dégradent les performances. Le système n'est pas entièrement autonome—il prend en charge l'intervention humaine en boucle pour la correction de stratégie et le contrôle en temps réel.

Implications plus larges

Ce système expérimental aborde le contrôle et la vérification des agents dans des environnements uniquement basés sur l'interface utilisateur. L'accent s'étend au-delà du gameplay pour élever l'interface homme-système au niveau stratégique, permettant aux utilisateurs d'opérer à des niveaux d'abstraction plus élevés plutôt que de gérer des actions individuelles.