civStation: Um Sistema VLM para Jogar Civilization VI por Comandos de Linguagem Natural

O que o civStation faz

civStation é um sistema de modelo de linguagem visual (VLM) que permite jogar Civilization VI por meio de comandos de linguagem natural. Em vez de controle direto com mouse/teclado, os usuários emitem intenções estratégicas de alto nível que o sistema traduz em ações reais do jogo.

Arquitetura e Funcionalidade

O sistema emprega uma arquitetura de 3 camadas:

• Camada Estratégica: Converte comandos de linguagem natural em objetivos estruturados, mantém a direção de longo prazo e realiza decomposição de tarefas. Comandos como "expandir para o leste", "focar na economia" ou "buscar vitória científica" são processados aqui.
• Camada de Ação: Utiliza VLM baseado em tela para interpretação de estado e executa ações de mouse/teclado sem acessar APIs do jogo.
• Camada HITL: Permite intervenção humana em tempo real, capacidades de sobreposição e autonomia controlável.

Detalhes de Implementação Técnica

Um comando estratégico gera múltiplas sequências de ação, exigindo aproximadamente 2–16 chamadas de modelo por tarefa. O sistema utiliza execução baseada em subagentes para tarefas delimitadas, como gerenciamento de cidades e controle de unidades.

civStation explora a mudança de interfaces de "ação → intenção" em vez das abordagens tradicionais de aprendizado por reforço, aprendizado por imitação ou métodos scriptados. Isso representa uma mudança da manipulação direta para delegação e orquestração de agentes.

Principais Desafios e Limitações

O sistema enfrenta vários desafios técnicos:

• Erros de percepção do VLM
• Desvio de execução
• Falta de mecanismos de verificação confiáveis

A execução em múltiplas etapas introduz compensações de latência e custo de API, com estratégias de contingência que degradam o desempenho. O sistema não é totalmente autônomo—ele suporta intervenção humana em tempo real para correção de estratégia e controle.

Implicações Mais Amplas

Este sistema experimental aborda o controle e verificação de agentes em ambientes apenas de interface do usuário. O foco vai além da jogabilidade para elevar a interface humano-sistema ao nível estratégico, permitindo que os usuários operem em níveis de abstração mais altos em vez de gerenciar ações individuais.