civStation: オープンソースVLMハーネスでCiv VIを自然言語制御

civStationの機能

civStationは、Civilization VI専用に構築されたオープンソースの制御可能なコンピュータ利用スタックおよびVLMハーネスです。このプロジェクトは、ゲームを低レベルのUI自動化問題として扱うのではなく、戦略レベルの制御に焦点を当てています。「東に拡張する」、「このターンは経済に集中する」、「科学勝利を目指す」などの自然言語入力を与えると、システムはその意図を実際のゲーム内アクションに変換します。

コアアーキテクチャとループ

このシステムは完全なループを実装しています：画面観測 → 戦略解釈 → アクション計画 → 実行 → 人間によるオーバーライド。これにより、インターフェースは直接実行から意図表現と制御可能な委任へと上方シフトします。目標は単にCiv6をプレイするエージェントを作ることではなく、モデルがゲーム画面を観測し、高レベルの戦略を解釈し、アクションを計画し、マウスとキーボードを通じて実行し、人間介入ループ（HitL）やMCPを通じてライブで中断またはガイドされるループを構築することでした。

現在の機能と能力

ライブデスクトップ観測
ホストマシンでの実際のUI操作
ランタイム制御インターフェース
人間介入ループ制御
MCP/スキル拡張性
自然言語または音声駆動制御

研究課題と動機

作成者はいくつかの課題を探求しています：戦略と実行の境界はどこにあるべきか？ループが遅すぎたり脆くなったりする前に、コンピュータ利用エージェントはどれほど制御可能か？このアプローチはゲームにのみ意味があるのか、それともより広範なデスクトップワークフローにも適用できるのか？

動機は、ほとんどのコンピュータ利用デモが「モデルがクリックするのを見る」ことに焦点を当てているのに対し、civStationは、生のUI操作ではなく戦略レベルで操作できる制御可能なランタイムに近いものを目指しているという観察から来ています。もう一つの動機は、音声と自然言語をコンピュータ利用と組み合わせることで、プレイヤーが直接アクションを実行するのではなく、指令を与える戦略家のように振る舞う異なるインタラクション層を開くことができるかどうかをテストすることでした。