В репозитории GitHub представлены документы, описывающие 16 методов инъекции промптов и стратегии защиты для публичных AI-чатов.
Разработчик создал пользовательский AI-чат на своём сайте в качестве эксперимента и столкнулся с множеством проблем безопасности, когда реальные пользователи попытались его взломать. Этот опыт побудил его создать подробное руководство по безопасности, доступное на GitHub.
Проблемы безопасности, с которыми столкнулись
Пользователи пытались использовать различные атаки, включая:
- Инъекцию промптов
- Атаки через ролевые игры
- Многоязычные уловки
- Полезные нагрузки в кодировке base64
Реализованные стратегии защиты
Разработчик задокументировал подход «защита в глубину», охватывающий:
- Санацию ввода
- Ограничение частоты запросов
- Дизайн системного промпта с нулевым доверием
- Контроль вывода
- Ограничения по стоимости
Содержимое репозитория на GitHub
Репозиторий включает:
- Разбор 16 техник инъекции промптов
- Навык кода Claude, который автоматически тестирует все 16 техник на вашем чат-боте
- Полные детали реализации защиты
Разработчик отмечает, что пользователи пробовали вещи, которые он «никогда бы не додумался протестировать», и что руководство предназначено для всех, кто внедряет похожие публичные системы AI-чатов.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Исследователи Университета Торонто продемонстрировали ИИ-червя, работающего на бесплатных моделях с открытым весом
Исследователи из Университета Торонто продемонстрировали первого ИИ-червя, который адаптирует свою стратегию распространения с помощью общедоступных моделей с открытым весом, нацеливаясь на любое онлайн-устройство.
Проблемы безопасности OpenClaw: ключи API и данные переписки под угрозой при стандартной самостоятельной хостинге
Отчёт Cisco указывает, что безопасность OpenClaw является «опциональной, а не встроенной», при этом конфигурации по умолчанию хранят API-ключи в файлах .env на VPS-инстансах, что создаёт потенциальную угрозу для нетехнических пользователей, работающих на базовых дроплетах.
Лаборатория для атаки и защиты RAG с открытым исходным кодом для локальных стеков ChromaDB + LM Studio
Лаборатория с открытым исходным кодом измеряет эффективность отравления базы знаний RAG в стандартных локальных настройках с ChromaDB и LM Studio, показывая 95% успеха на незащищённых системах и оценивая практические методы защиты.
LLM-ассистированный эксплойт: Предварительная версия Mythos от Anthropic помогла создать первый публичный эксплойт ядра macOS на Apple M5 за пять дней
Используя Anthropic Mythos Preview, фирма по безопасности Calif создала первый публичный эксплойт повреждения памяти ядра macOS на кремнии Apple M5 за пять дней, взломав аппаратную защиту MIE, которую Apple разрабатывала пять лет.