civStation: Открытая платформа VLM для управления игрой Civilization VI с помощью естественного языка

Что делает civStation

civStation — это открытый, управляемый стек компьютерного использования и оболочка VLM, созданная специально для Civilization VI. Вместо того чтобы рассматривать игру как проблему низкоуровневой автоматизации интерфейса, проект фокусируется на управлении на уровне стратегии. Вы можете давать команды на естественном языке, такие как «расширяться на восток», «сосредоточиться на экономике в этот ход» или «стремиться к научной победе», и система преобразует это намерение в реальные внутриигровые действия.

Основная архитектура и цикл

Система реализует полный цикл: наблюдение экрана → интерпретация стратегии → планирование действий → выполнение → вмешательство человека. Это смещает интерфейс вверх — от прямого выполнения к выражению намерения и управляемому делегированию. Цель состояла не просто в том, чтобы создать агента, играющего в Civ6, а в построении цикла, в котором модель может наблюдать за игровым экраном, интерпретировать высокоуровневую стратегию, планировать действия, выполнять их с помощью мыши и клавиатуры, а также быть прерванной или направляемой в реальном времени через человеческое вмешательство (HitL) или MCP.

Текущие функции и возможности

• Наблюдение за рабочим столом в реальном времени
• Реальное взаимодействие с интерфейсом на основном компьютере
• Интерфейс управления во время выполнения
• Управление с участием человека
• Расширяемость через MCP/навыки
• Управление с помощью естественного языка или голоса

Исследовательские вопросы и мотивация

Создатель исследует несколько вопросов: Где должна проходить граница между стратегией и выполнением? Насколько управляемым может быть агент компьютерного использования, прежде чем цикл станет слишком медленным или ненадёжным? Имеет ли этот подход смысл только для игр или также для более широких рабочих процессов на рабочем столе?

Мотивация проистекает из наблюдения, что большинство демонстраций компьютерного использования сосредоточены на «смотрите, как модель кликает», в то время как civStation стремится к чему-то более близкому к управляемой среде выполнения, где вы можете работать на уровне стратегии, а не на уровне сырого взаимодействия с интерфейсом. Другой мотивацией было проверить, могут ли голос и естественный язык в сочетании с компьютерным использованием открыть другой слой взаимодействия, где игрок ведёт себя скорее как стратег, отдающий указания, а не непосредственно выполняющий действия.

Репозиторий и доступность

Проект доступен по адресу: https://github.com/NomaDamas/civStation.git