civStation : Harnais VLM Open-Source pour le Contrôle en Langage Naturel de Civilization VI

Ce que fait civStation

civStation est une pile informatique open-source et contrôlable, ainsi qu'un harnais VLM, conçu spécifiquement pour Civilization VI. Au lieu de traiter le jeu comme un problème d'automatisation d'interface utilisateur de bas niveau, le projet se concentre sur le contrôle au niveau stratégique. Vous pouvez donner des entrées en langage naturel comme "étendez-vous vers l'est", "concentrez-vous sur l'économie ce tour-ci", ou "visez une victoire scientifique", et le système traduit cette intention en actions réelles dans le jeu.

Architecture et boucle principales

Le système implémente une boucle complète : observation de l'écran → interprétation stratégique → planification d'actions → exécution → surcharge humaine. Cela déplace l'interface du niveau de l'exécution directe vers l'expression d'intention et la délégation contrôlable. L'objectif n'était pas seulement de créer un agent qui joue à Civ6, mais de construire une boucle où le modèle peut observer l'écran du jeu, interpréter une stratégie de haut niveau, planifier des actions, les exécuter via la souris et le clavier, et être interrompu ou guidé en direct par un humain dans la boucle (HitL) ou par MCP.

Fonctionnalités et capacités actuelles

• Observation en direct du bureau
• Interaction réelle avec l'interface utilisateur sur la machine hôte
• Interface de contrôle en temps d'exécution
• Contrôle humain dans la boucle
• Extensibilité MCP/compétences
• Contrôle par langage naturel ou vocal

Questions de recherche et motivation

Le créateur explore plusieurs questions : Où devrait se situer la frontière entre la stratégie et l'exécution ? Jusqu'où un agent informatique peut-il être contrôlable avant que la boucle ne devienne trop lente ou fragile ? Cette approche a-t-elle du sens uniquement pour les jeux, ou aussi pour des flux de travail bureautiques plus larges ?

La motivation vient de l'observation que la plupart des démonstrations d'utilisation informatique se concentrent sur "regarder le modèle cliquer", tandis que civStation vise quelque chose de plus proche d'un environnement d'exécution contrôlable où vous pouvez opérer au niveau de la stratégie plutôt que de l'interaction brute avec l'interface utilisateur. Une autre motivation était de tester si la voix et le langage naturel, combinés à l'utilisation informatique, pourraient ouvrir une couche d'interaction différente où le joueur se comporte davantage comme un stratège donnant des directives plutôt que d'exécuter directement des actions.

Dépôt et disponibilité

Le projet est disponible à l'adresse : https://github.com/NomaDamas/civStation.git