civStation: Herramienta VLM de Código Abierto para el Control por Lenguaje Natural de Civilization VI

Qué hace civStation

civStation es una pila de uso informático controlable y un arnés VLM de código abierto construido específicamente para Civilization VI. En lugar de tratar el juego como un problema de automatización de interfaz de usuario de bajo nivel, el proyecto se centra en el control a nivel de estrategia. Puedes dar entradas en lenguaje natural como "expandirse hacia el este", "centrarse en la economía este turno" o "apuntar a una victoria científica", y el sistema traduce esa intención en acciones reales dentro del juego.

Arquitectura central y bucle

El sistema implementa un bucle completo: observación de pantalla → interpretación de estrategia → planificación de acciones → ejecución → anulación humana. Esto desplaza la interfaz hacia arriba, desde la ejecución directa hacia la expresión de intención y la delegación controlable. El objetivo no era solo hacer que un agente jugara Civ6, sino construir un bucle donde el modelo pueda observar la pantalla del juego, interpretar estrategias de alto nivel, planificar acciones, ejecutarlas mediante ratón y teclado, y ser interrumpido o guiado en vivo a través de humano en el bucle (HitL) o MCP.

Características y capacidades actuales

• Observación en vivo del escritorio
• Interacción real de interfaz de usuario en la máquina anfitriona
• Interfaz de control en tiempo de ejecución
• Control con humano en el bucle
• Extensibilidad MCP/habilidades
• Control por lenguaje natural o por voz

Preguntas de investigación y motivación

El creador está explorando varias preguntas: ¿Dónde debería estar el límite entre estrategia y ejecución? ¿Qué tan controlable puede ser un agente de uso informático antes de que el bucle se vuelva demasiado lento o frágil? ¿Tiene sentido este enfoque solo para juegos, o también para flujos de trabajo de escritorio más amplios?

La motivación surge de observar que la mayoría de las demostraciones de uso informático se centran en "ver al modelo hacer clic", mientras que civStation apunta a algo más cercano a un entorno de ejecución controlable donde puedes operar al nivel de estrategia en lugar de la interacción cruda con la interfaz de usuario. Otra motivación fue probar si la voz y el lenguaje natural, combinados con el uso informático, podrían abrir una capa de interacción diferente donde el jugador se comporte más como un estratega dando directivas en lugar de ejecutar acciones directamente.

Repositorio y disponibilidad

El proyecto está disponible en: https://github.com/NomaDamas/civStation.git