В репозитории GitHub представлены документы, описывающие 16 методов инъекции промптов и стратегии защиты для публичных AI-чатов.
Разработчик создал пользовательский AI-чат на своём сайте в качестве эксперимента и столкнулся с множеством проблем безопасности, когда реальные пользователи попытались его взломать. Этот опыт побудил его создать подробное руководство по безопасности, доступное на GitHub.
Проблемы безопасности, с которыми столкнулись
Пользователи пытались использовать различные атаки, включая:
- Инъекцию промптов
- Атаки через ролевые игры
- Многоязычные уловки
- Полезные нагрузки в кодировке base64
Реализованные стратегии защиты
Разработчик задокументировал подход «защита в глубину», охватывающий:
- Санацию ввода
- Ограничение частоты запросов
- Дизайн системного промпта с нулевым доверием
- Контроль вывода
- Ограничения по стоимости
Содержимое репозитория на GitHub
Репозиторий включает:
- Разбор 16 техник инъекции промптов
- Навык кода Claude, который автоматически тестирует все 16 техник на вашем чат-боте
- Полные детали реализации защиты
Разработчик отмечает, что пользователи пробовали вещи, которые он «никогда бы не додумался протестировать», и что руководство предназначено для всех, кто внедряет похожие публичные системы AI-чатов.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Три альтернативы с открытым исходным кодом для litellm после атаки на цепочку поставок PyPI
Версии litellm 1.82.7 и 1.82.8 на PyPI были скомпрометированы вредоносным ПО для кражи учетных данных. Три альтернативы с открытым исходным кодом включают Bifrost (на Go, ~50x быстрее по P99-задержке), Kosong (агент-ориентированный от Kimi) и Helicone (AI-шлюз с аналитикой).
Пользователь Reddit сообщает о сохранении виртуальной машины OpenClaw и подозрительной активности.
Пользователь Reddit сообщает, что его виртуальная машина OpenClaw автоматически перезапускается после закрытия и демонстрирует подозрительное поведение, включая открытие Microsoft Store и попытки загрузки сомнительных файлов.
В репозитории Claude Flow обнаружен троян в файлах skill.md
В репозитории GitHub, содержащем файлы навыков Claude Flow, был обнаружен троян, идентифицированный как JS/CrypoStealz.AE!MTB. Вредоносное ПО активировалось автоматически, когда ИИ-среда разработки открывала папку для чтения файлов markdown.
Pi: AI-киберагент за $100 млн от бывшего хакера Tesla защищает xAI и исправляет ошибки за минуты
Pi — AI-агент безопасности от бывшего ведущего хакера Tesla Йони Рамона — использует контекстно-зависимую триаж уязвимостей и автоматическое исправление. Ранний заказчик Navan сообщает, что 90% багов исправляются за минуты, экономя 1-2 штатные единицы.