LLMエージェントが視覚フィードバックを用いて完全なGodot 4ダンジョンクローラーを構築

ある開発者が、視覚的フィードバックを活用してLLMエージェントがGodot 4で完全なダンジョンクローラーゲームを自律的に構築する様子を実演しました。エージェントは、開発者が構築中のMCPツールを介してGodotエディタに接続されていました。
エージェントが構築したもの
「Kenneyのダンジョンキットを使用してダンジョンクローラーFPSを構築せよ」という単一のプロンプトにより、エージェントは以下を作成しました:
- 廊下で接続された3つの部屋
- 雰囲気のある松明の照明とパーティクル
- ヘッドボブを伴うFPS操作
- 剣による戦闘システム
- 経路探索機能を持つ4種類の敵
- ウェーブベースの敵出現システム
- 戦利品ドロップ
- 経験値による進行メカニズム
- ゲームオーバー画面
主な技術的詳細
このプロジェクトは、およそ以下で構成されていました:
- 300のノード
- 11のスクリプト
- 1500行のGDScript
ゲームは最初のF5実行で正常に動作し、プレイ可能なプロトタイプが生成されました。
視覚的フィードバックループ
重要な点は、単なるコード生成ではありませんでした。どのLLMでもコードは書けます。この事例が異なっていたのは、エージェントが以下の能力を持っていたことです:
- ゲームを実行してスクリーンショットを撮影する
- 視覚的に問題を特定して修正する
- 松明のパーティクルが霧に対して明るすぎることに気づき、環境を調整する
- オークが壁を貫通しているのを確認し、ナビゲーション設定を微調整する
- 宝箱のUIレイアウトを視覚的に確認し、適切な位置に配置する
このアプローチは、純粋なコード生成から、エージェントが実際のゲーム出力に基づいてテストと反復を行える統合開発への移行を表しています。
📖 Read the full source: r/LocalLLaMA
👀 See Also

Marmy: リモートでAIコーディングエージェントを管理するためのセルフホスト型フレームワーク
Marmyは、Claude Codeで構築されたオープンソースのMITライセンスフレームワークで、開発者がモバイルアプリからAIコーディングエージェントとtmuxセッションを管理できるようにします。開発マシン用のRustエージェントとリモートコントロール用のReact Nativeアプリが含まれています。

ポータブル・マインド・フォーマット(PMF):プロバイダー非依存のエージェント仕様と15のオープンソースエージェント
Portable Mind Format(PMF)は、Claude、GPT-4、Gemini、DeepSeek、Ollamaを介したローカルモデルなど、複数のモデルやプロバイダー間で実行可能なAIエージェントのアイデンティティを定義するJSONベースの仕様です。15のMITライセンスのプロダクションエージェントと、Claude Code、Cursor、GitHub Copilot、Gemini CLI用のコンバーターを含みます。

Claude Code Studio:複数のClaudeコーディングセッションを管理するオープンソースデスクトップアプリ
Claude Code Studio v0.9.3は、複数のClaude Code CLIセッションを管理するためのマルチペインインターフェースを提供するオープンソースのデスクトップアプリケーションです。ターミナルタブの切り替え、セッションの永続化、指示の繰り返しといった一般的なワークフローの問題に対応しています。

codebase-md: ツールはgitフックによるメンテナンスでCLAUDE.mdを自動生成します
codebase-md v0.1.0は、プロジェクトをスキャンして、アーキテクチャ検出、依存関係の健全性チェック、およびGitインサイトを含むCLAUDE.mdファイルを生成します。Gitフックを含めてドキュメントを最新の状態に保ち、追加の設定ファイルで他のAIコーディングツールをサポートします。