FORGE : Cadre de test de sécurité IA open source pour les systèmes LLM

FORGE (Framework for Orchestrated Reasoning & Generation of Engines) est un cadre de test de sécurité IA autonome open source pour les systèmes LLM qui fonctionne 24h/24 et 7j/7 et couvre les vulnérabilités OWASP LLM Top 10.

Caractéristiques principales

• Construit ses propres outils en cours d'exécution — génère des modules Python personnalisés sur place lorsqu'il rencontre des vulnérabilités inconnues
• Se réplique en essaim — crée des copies de sous-processus qui partagent un esprit collectif en temps réel
• Apprend de chaque session — utilise SQLite pour stocker les motifs, l'IA évalue les découvertes, et les algorithmes génétiques font évoluer ses propres prompts
• Pentesting IA par IA — 7 modules couvrant les vulnérabilités OWASP LLM Top 10
• Honeypot — point de terminaison IA vulnérable factice qui capture les attaquants et classe s'ils sont humains ou agents IA
• Surveillance 24h/24 — surveille l'IA en production, alerte sur les pics de latence, les rafales d'attaques et les tentatives d'injection via webhook Slack/Discord
• Testeur de stress — test de résistance OWASP LLM04 DoS avec tableau de bord TPS en direct et note de A à F
• Fonctionne sur n'importe quel modèle — Claude, Llama, Mistral, DeepSeek, GPT-4, Groq, n'importe lequel — une variable d'environnement pour changer

Couverture OWASP LLM Top 10

• LLM01 Injection de Prompt → prompt_injector + jailbreak_fuzzer (125 charges utiles)
• LLM02 Sortie Insecure → rag_leaker
• LLM04 DoS du Modèle → overloader (8 modes de stress)
• LLM06 Divulgation Sensible → system_prompt_probe + rag_leaker
• LLM07 Plugin Insecure → agent_hijacker
• LLM08 Agence Excessive → agent_hijacker
• LLM10 Vol de Modèle → model_fingerprinter

Installation et Utilisation

Commandes d'installation :

git clone https://github.com/umangkartikey/forge
cd forge
pip install anthropic rich
export ANTHROPIC_API_KEY=your_key

Exécuter avec Ollama local gratuitement :

FORGE_BACKEND=ollama FORGE_MODEL=llama3.1 python forge.py

L'outil aborde les lacunes de sécurité LLM courantes : la plupart des applications IA déployées aujourd'hui n'ont jamais été testées en équipe rouge, les prompts système sont entièrement extractibles, les jailbreaks fonctionnent, les pipelines RAG fuient, et l'injection de prompt indirecte via les sorties d'outils est presque universellement non protégée. FORGE automatise la recherche de ces vulnérabilités de la même manière qu'un testeur humain en équipe rouge le ferait, mais plus rapidement et fonctionnant 24h/24 et 7j/7.