FORGE: LLMシステム向けオープンソースAIセキュリティテストフレームワーク

FORGE（Framework for Orchestrated Reasoning & Generation of Engines）は、24時間365日稼働し、OWASP LLM Top 10脆弱性をカバーするLLMシステム向けのオープンソース自律型AIセキュリティテストフレームワークです。

主な機能

• 実行中に独自のツールを構築 — 未知の脆弱性に遭遇した際に、その場でカスタムPythonモジュールを生成
• 自己複製して群れを形成 — ライブの集合知を共有するサブプロセスコピーを作成
• すべてのセッションから学習 — SQLiteを使用してパターンを保存し、AIが発見事項を評価し、遺伝的アルゴリズムで独自のプロンプトを進化させる
• AIによるAIペンテスト — OWASP LLM Top 10脆弱性をカバーする7つのモジュール
• ハニーポット — 攻撃者を捕捉し、人間かAIエージェントかを分類する偽の脆弱なAIエンドポイント
• 24時間365日監視 — 本番環境のAIを監視し、Slack/Discordウェブフックを通じてレイテンシースパイク、攻撃バースト、インジェクション試行を警告
• ストレステスター — ライブTPSダッシュボードとA-FグレードによるOWASP LLM04 DoS耐性テスト
• あらゆるモデルで動作 — Claude、Llama、Mistral、DeepSeek、GPT-4、Groqなど — 1つの環境変数で切り替え可能

OWASP LLM Top 10カバレッジ

• LLM01 プロンプトインジェクション → prompt_injector + jailbreak_fuzzer（125ペイロード）
• LLM02 安全でない出力 → rag_leaker
• LLM04 モデルDoS → overloader（8ストレスモード）
• LLM06 機密情報開示 → system_prompt_probe + rag_leaker
• LLM07 安全でないプラグイン → agent_hijacker
• LLM08 過剰なエージェンシー → agent_hijacker
• LLM10 モデル窃取 → model_fingerprinter

セットアップと使用方法

インストールコマンド：

git clone https://github.com/umangkartikey/forge
cd forge
pip install anthropic rich
export ANTHROPIC_API_KEY=your_key

無料のローカルOllamaで実行：

FORGE_BACKEND=ollama FORGE_MODEL=llama3.1 python forge.py

このツールは一般的なLLMセキュリティギャップに対処します：現在デプロイされているほとんどのAIアプリはレッドチームテストを受けたことがなく、システムプロンプトは完全に抽出可能で、ジェイルブレイクが機能し、RAGパイプラインは漏洩し、ツール出力を介した間接的なプロンプトインジェクションはほぼ普遍的に保護されていません。FORGEは、人間のレッドチーム担当者と同じ方法でこれらの脆弱性を発見するプロセスを自動化しますが、より高速で24時間365日稼働します。