FORGE: Фреймворк с открытым исходным кодом для тестирования безопасности ИИ-систем на основе LLM

FORGE (Framework for Orchestrated Reasoning & Generation of Engines) — это фреймворк с открытым исходным кодом для автономного тестирования безопасности систем LLM, который работает круглосуточно и охватывает уязвимости из OWASP LLM Top 10.

Ключевые возможности

• Создаёт собственные инструменты в процессе работы — генерирует пользовательские модули Python на лету при обнаружении неизвестных уязвимостей
• Самовоспроизводится в рой — создаёт копии в подпроцессах, которые разделяют коллективный разум в реальном времени
• Учится на каждой сессии — использует SQLite для хранения шаблонов, ИИ оценивает находки, а генетические алгоритмы развивают его собственные промпты
• ИИ-пентестинг ИИ — 7 модулей, охватывающих уязвимости из OWASP LLM Top 10
• Ловушка — поддельная уязвимая конечная точка ИИ, которая перехватывает атакующих и определяет, являются ли они человеком или агентом ИИ
• Круглосуточный мониторинг — отслеживает ИИ в продакшене, оповещает о скачках задержки, всплесках атак и попытках инъекций через вебхук Slack/Discord
• Стресс-тестер — тестирование устойчивости к OWASP LLM04 DoS с живой панелью TPS и оценкой от A до F
• Работает с любой моделью — Claude, Llama, Mistral, DeepSeek, GPT-4, Groq, любая — одна переменная окружения для переключения

Покрытие OWASP LLM Top 10

• LLM01 Инъекция промптов → prompt_injector + jailbreak_fuzzer (125 полезных нагрузок)
• LLM02 Небезопасный вывод → rag_leaker
• LLM04 DoS модели → overloader (8 режимов стресса)
• LLM06 Раскрытие конфиденциальной информации → system_prompt_probe + rag_leaker
• LLM07 Небезопасный плагин → agent_hijacker
• LLM08 Чрезмерные полномочия → agent_hijacker
• LLM10 Кража модели → model_fingerprinter

Установка и использование

Команды установки:

git clone https://github.com/umangkartikey/forge
cd forge
pip install anthropic rich
export ANTHROPIC_API_KEY=your_key

Запуск с локальным Ollama бесплатно:

FORGE_BACKEND=ollama FORGE_MODEL=llama3.1 python forge.py

Инструмент решает распространённые проблемы безопасности LLM: большинство ИИ-приложений, развёрнутых сегодня, никогда не проходили редкостинг, системные промпты полностью извлекаемы, джейлбрейки работают, RAG-конвейеры протекают, а косвенная инъекция промптов через вывод инструментов почти повсеместно незащищена. FORGE автоматизирует поиск этих уязвимостей так же, как это сделал бы человек-редтимер, но быстрее и работает круглосуточно.