В репозитории GitHub представлены документы, описывающие 16 методов инъекции промптов и стратегии защиты для публичных AI-чатов.

Разработчик создал пользовательский AI-чат на своём сайте в качестве эксперимента и столкнулся с множеством проблем безопасности, когда реальные пользователи попытались его взломать. Этот опыт побудил его создать подробное руководство по безопасности, доступное на GitHub.

Проблемы безопасности, с которыми столкнулись

Пользователи пытались использовать различные атаки, включая:

• Инъекцию промптов
• Атаки через ролевые игры
• Многоязычные уловки
• Полезные нагрузки в кодировке base64

Реализованные стратегии защиты

Разработчик задокументировал подход «защита в глубину», охватывающий:

• Санацию ввода
• Ограничение частоты запросов
• Дизайн системного промпта с нулевым доверием
• Контроль вывода
• Ограничения по стоимости

Содержимое репозитория на GitHub

Репозиторий включает:

• Разбор 16 техник инъекции промптов
• Навык кода Claude, который автоматически тестирует все 16 техник на вашем чат-боте
• Полные детали реализации защиты

Разработчик отмечает, что пользователи пробовали вещи, которые он «никогда бы не додумался протестировать», и что руководство предназначено для всех, кто внедряет похожие публичные системы AI-чатов.