FORGE: LLM 시스템을 위한 오픈 소스 AI 보안 테스트 프레임워크

FORGE(Framework for Orchestrated Reasoning & Generation of Engines)는 24/7 운영되며 OWASP LLM Top 10 취약점을 다루는 LLM 시스템용 오픈 소스 자율 AI 보안 테스트 프레임워크입니다.

주요 기능

• 실행 중 자체 도구 구축 — 알려지지 않은 취약점을 발견하면 즉석에서 맞춤형 Python 모듈 생성
• 군집으로 자가 복제 — 실시간 집단 지능을 공유하는 하위 프로세스 복사본 생성
• 모든 세션에서 학습 — SQLite로 패턴 저장, AI가 발견 사항 점수화, 유전 알고리즘으로 자체 프롬프트 진화
• AI가 AI를 침투 테스트 — OWASP LLM Top 10 취약점을 다루는 7개 모듈
• 허니팟 — 공격자를 포착하고 인간인지 AI 에이전트인지 분류하는 가짜 취약 AI 엔드포인트
• 24/7 모니터링 — 프로덕션 환경의 AI 감시, 지연 시간 급증, 공격 급증, 주입 시도에 대한 Slack/Discord 웹훅 경고
• 스트레스 테스터 — 실시간 TPS 대시보드와 A-F 등급으로 OWASP LLM04 DoS 복원력 테스트
• 모든 모델에서 작동 — Claude, Llama, Mistral, DeepSeek, GPT-4, Groq 등 — 하나의 환경 변수로 전환

OWASP LLM Top 10 커버리지

• LLM01 프롬프트 주입 → prompt_injector + jailbreak_fuzzer (125개 페이로드)
• LLM02 불안전한 출력 → rag_leaker
• LLM04 모델 DoS → overloader (8가지 스트레스 모드)
• LLM06 민감 정보 노출 → system_prompt_probe + rag_leaker
• LLM07 불안전한 플러그인 → agent_hijacker
• LLM08 과도한 에이전시 → agent_hijacker
• LLM10 모델 도용 → model_fingerprinter

설정 및 사용법

설치 명령어:

git clone https://github.com/umangkartikey/forge
cd forge
pip install anthropic rich
export ANTHROPIC_API_KEY=your_key

무료 로컬 Ollama로 실행:

FORGE_BACKEND=ollama FORGE_MODEL=llama3.1 python forge.py

이 도구는 일반적인 LLM 보안 격차를 해결합니다: 오늘날 배포된 대부분의 AI 앱은 레드 팀 테스트를 받은 적이 없고, 시스템 프롬프트는 완전히 추출 가능하며, 탈옥이 작동하고, RAG 파이프라인은 누출되며, 도구 출력을 통한 간접 프롬프트 주입은 거의 보호되지 않습니다. FORGE는 인간 레드 팀원과 같은 방식으로 이러한 취약점을 찾는 작업을 자동화하지만 더 빠르고 24/7 운영됩니다.