civStation: Un sistema VLM para jugar Civilization VI mediante comandos de lenguaje natural

Qué hace civStation

civStation es un sistema de modelo de visión y lenguaje (VLM) que permite jugar Civilization VI mediante comandos de lenguaje natural. En lugar de control directo con ratón/teclado, los usuarios emiten intenciones estratégicas de alto nivel que el sistema traduce en acciones reales del juego.

Arquitectura y Funcionalidad

El sistema emplea una arquitectura de 3 capas:

• Capa Estratégica: Convierte comandos de lenguaje natural en objetivos estructurados, mantiene la dirección a largo plazo y realiza descomposición de tareas. Comandos como "expandirse hacia el este", "centrarse en la economía" o "apuntar a una victoria científica" se procesan aquí.
• Capa de Acción: Utiliza VLM basado en pantalla para interpretación del estado y ejecuta acciones de ratón/teclado sin acceder a las API del juego.
• Capa HITL: Permite intervención humana en tiempo real, capacidades de anulación y autonomía controlable.

Detalles de Implementación Técnica

Un comando estratégico genera múltiples secuencias de acción, requiriendo aproximadamente 2–16 llamadas al modelo por tarea. El sistema utiliza ejecución basada en subagentes para tareas acotadas como gestión de ciudades y control de unidades.

civStation explora cambiar las interfaces de "acción → intención" en lugar de los enfoques tradicionales de aprendizaje por refuerzo, aprendizaje por imitación o métodos programados. Esto representa un cambio de la manipulación directa a la delegación y orquestación de agentes.

Desafíos y Limitaciones Clave

El sistema enfrenta varios desafíos técnicos:

• Errores de percepción del VLM
• Deriva en la ejecución
• Falta de mecanismos de verificación confiables

La ejecución de múltiples pasos introduce compensaciones de latencia y costo de API, con estrategias de respaldo que degradan el rendimiento. El sistema no es completamente autónomo—soporta intervención humana en el bucle para corrección estratégica y control en tiempo real.

Implicaciones Más Amplias

Este sistema experimental aborda el control y verificación de agentes en entornos solo de interfaz de usuario. El enfoque se extiende más allá del juego para elevar la interfaz humano-sistema al nivel estratégico, permitiendo a los usuarios operar en niveles de abstracción más altos en lugar de gestionar acciones individuales.