FORGE: Framework de Teste de Segurança de IA de Código Aberto para Sistemas LLM

FORGE (Framework for Orchestrated Reasoning & Generation of Engines) é um framework de teste de segurança de IA autônomo e de código aberto para sistemas LLM que funciona 24/7 e cobre as 10 principais vulnerabilidades OWASP LLM.

Principais Recursos

• Constrói suas próprias ferramentas durante a execução — gera módulos Python personalizados no momento em que encontra vulnerabilidades desconhecidas
• Autorreplica-se em um enxame — cria cópias de subprocessos que compartilham uma mente coletiva em tempo real
• Aprende com cada sessão — usa SQLite para armazenar padrões, IA pontua as descobertas e algoritmos genéticos evoluem seus próprios prompts
• Pentesting de IA por IA — 7 módulos cobrindo as 10 principais vulnerabilidades OWASP LLM
• Honeypot — endpoint de IA falso vulnerável que captura atacantes e classifica se são humanos ou agentes de IA
• Monitoramento 24/7 — observa IA em produção, alerta sobre picos de latência, rajadas de ataques e tentativas de injeção via webhook Slack/Discord
• Testador de estresse — teste de resiliência OWASP LLM04 DoS com painel TPS em tempo real e classificação A-F
• Funciona com qualquer modelo — Claude, Llama, Mistral, DeepSeek, GPT-4, Groq, qualquer um — uma variável de ambiente para alternar

Cobertura das 10 Principais Vulnerabilidades OWASP LLM

• LLM01 Injeção de Prompt → prompt_injector + jailbreak_fuzzer (125 payloads)
• LLM02 Saída Insegura → rag_leaker
• LLM04 DoS do Modelo → overloader (8 modos de estresse)
• LLM06 Divulgação Sensível → system_prompt_probe + rag_leaker
• LLM07 Plugin Inseguro → agent_hijacker
• LLM08 Agência Excessiva → agent_hijacker
• LLM10 Roubo de Modelo → model_fingerprinter

Configuração e Uso

Comandos de instalação:

git clone https://github.com/umangkartikey/forge
cd forge
pip install anthropic rich
export ANTHROPIC_API_KEY=your_key

Execute com Ollama local gratuitamente:

FORGE_BACKEND=ollama FORGE_MODEL=llama3.1 python forge.py

A ferramenta aborda lacunas de segurança comuns de LLM: a maioria dos aplicativos de IA implantados hoje nunca passou por red teaming, os prompts do sistema são totalmente extraíveis, jailbreaks funcionam, pipelines RAG vazam e a injeção indireta de prompt via saídas de ferramentas é quase universalmente desprotegida. O FORGE automatiza a descoberta dessas vulnerabilidades da mesma forma que um red teamer humano faria, mas mais rápido e funcionando 24/7.