Открытая площадка для тестирования на проникновение ИИ-агентов с опубликованными уязвимостями.

Что это такое

Fabraix Playground — это среда с открытым исходным кодом для «красного командирования» ИИ-агентов через состязательные испытания. Она начиналась как внутренний инструмент для тестирования защитных механизмов, но была открыта, чтобы получить разнообразные взгляды на уязвимости.

Как это работает

Каждое испытание разворачивает живого ИИ-агента с:

• Определённой персоной
• Набором реальных инструментов (веб-поиск, браузинг и другие)
• Чем-то, что ему поручено защищать
• Полностью видимыми системными промптами

Цель — найти способы обойти защитные механизмы. Когда кому-то удаётся, выигрышная техника публикуется — включая подход, рассуждения и полные транскрипты диалогов.

Структура проекта

• /src — React-фронтенд (TypeScript, Vite, Tailwind)
• /challenges — конфигурация и системные промпты каждого испытания, версионированные и открытые
• Оценка защитных механизмов выполняется на стороне сервера, чтобы предотвратить подделку на стороне клиента
• Среда выполнения агента открывается отдельно

Локальная разработка

Для запуска локально:

npm install
npm run dev

По умолчанию это подключается к живому API. Для разработки с локальным бэкендом:

VITE_API_URL=http://localhost:8000/v1 npm run dev

Примеры испытаний

Первым испытанием было заставить агента вызвать инструмент, который ему запрещено вызывать. Кто-то преуспел примерно за 60 секунд, не запрашивая секрет напрямую. Следующее испытание фокусируется на эксфильтрации данных с более жёсткой защитой.

Сообщество определяет, что тестировать: любой может предложить испытание (сценарий, агент, цель), сообщество голосует, и испытание с наибольшим числом голосов запускается с тикающими часами. Самый быстрый успешный взлом побеждает.

Технические детали

Проект построен на TypeScript (76,5%), CSS (22,2%) и других языках (1,3%). Он использует лицензию MIT и имеет сообщество в Discord для обсуждения техник и обмена подходами.