FORGE: Open-Source-Framework für KI-Sicherheitstests von LLM-Systemen

FORGE (Framework for Orchestrated Reasoning & Generation of Engines) ist ein Open-Source-Framework für autonome KI-Sicherheitstests von LLM-Systemen, das rund um die Uhr läuft und OWASP LLM Top 10-Schwachstellen abdeckt.

Hauptmerkmale

• Erstellt eigene Tools während des Betriebs – generiert bei unbekannten Schwachstellen sofort benutzerdefinierte Python-Module
• Repliziert sich selbst in einen Schwarm – erstellt Subprozess-Kopien, die einen gemeinsamen Live-Hive-Mind nutzen
• Lernt aus jeder Sitzung – verwendet SQLite zum Speichern von Mustern, KI bewertet Funde und genetische Algorithmen entwickeln eigene Prompts weiter
• KI-Pentesting für KI – 7 Module, die OWASP LLM Top 10-Schwachstellen abdecken
• Honeypot – gefälschter anfälliger KI-Endpunkt, der Angreifer erkennt und klassifiziert, ob sie menschlich oder KI-Agent sind
• 24/7-Überwachung – überwacht KI im Produktivbetrieb, warnt bei Latenzspitzen, Angriffswellen und Injection-Versuchen via Slack/Discord-Webhook
• Stresstester – OWASP LLM04 DoS-Resilienz-Tests mit Live-TPS-Dashboard und A-F-Bewertung
• Funktioniert mit jedem Modell – Claude, Llama, Mistral, DeepSeek, GPT-4, Groq, alles – eine Umgebungsvariable zum Wechseln

OWASP LLM Top 10-Abdeckung

• LLM01 Prompt Injection → prompt_injector + jailbreak_fuzzer (125 Payloads)
• LLM02 Insecure Output → rag_leaker
• LLM04 Model DoS → overloader (8 Stress-Modi)
• LLM06 Sensitive Disclosure → system_prompt_probe + rag_leaker
• LLM07 Insecure Plugin → agent_hijacker
• LLM08 Excessive Agency → agent_hijacker
• LLM10 Model Theft → model_fingerprinter

Einrichtung und Nutzung

Installationsbefehle:

git clone https://github.com/umangkartikey/forge
cd forge
pip install anthropic rich
export ANTHROPIC_API_KEY=your_key

Kostenlos mit lokalem Ollama ausführen:

FORGE_BACKEND=ollama FORGE_MODEL=llama3.1 python forge.py

Das Tool behebt häufige LLM-Sicherheitslücken: Die meisten heute eingesetzten KI-Apps wurden nie geredteamt, System-Prompts sind vollständig extrahierbar, Jailbreaks funktionieren, RAG-Pipelines leaken und indirekte Prompt-Injection über Tool-Ausgaben ist fast überall ungeschützt. FORGE automatisiert das Finden dieser Schwachstellen wie ein menschlicher Red-Teamer, aber schneller und rund um die Uhr.