Киберпреступники дают отпор сгенерированному ИИ мусору на подпольных форумах

Исследование, анализирующее 97 895 разговоров, связанных с ИИ, на киберпреступных форумах с момента запуска ChatGPT в 2022 году до конца 2024 года, выявило растущее недовольство контентом, созданным генеративным ИИ. Исследователи из Эдинбургского университета, Кембриджского университета и Университета Стратклайда заметили отпор на таких форумах, как Hack Forums, где пользователи жаловались на участников, публикующих «объяснения в виде маркированных списков» базовых концепций безопасности и типичные ответы, сгенерированные ИИ.
Ключевые выводы
- Социальные нарушения: Бен Коллиер, исследователь безопасности из Эдинбургского университета, отмечает, что эти форумы являются «по сути социальными пространствами», где пользователи зарабатывают репутацию. Посты ИИ подрывают претензии на профессионализм и мешают построению дружеских отношений.
- Прямые жалобы: Цитаты включают «Я вижу много участников, использующих ИИ для создания своих тем/постов, и это меня бесит» и «Хватит постить ИИ-чушь». Один пользователь написал: «Если бы я хотел поговорить с ИИ-чатботом, есть много сайтов для этого… Я прихожу сюда ради человеческого общения».
- Качество против количества: Мелкие киберпреступники заваливают форумы контентом, сгенерированным ИИ, заполняя их «низкокачественными постами» и автоматическими объяснениями, что раздражает завсегдатаев.
- Игры с репутацией: Новички используют ИИ для повышения своей репутации, публикуя отшлифованный, но поверхностный контент, что вызывает недоверие у опытных пользователей.
- Скептицизм элиты: Иан Вайс, вице-президент Flashpoint, говорит, что продвинутые злоумышленники «с осторожностью относятся к проектам, созданным ИИ, на форумах или торговых площадках» и осознают слабые места в защите коммерческих моделей и потенциальное раскрытие инфраструктуры.
Контекст
В то время как некоторые организованные мошенники используют ИИ для реалистичной замены лиц, перевода и генерации кода, хакерское сообщество низкого уровня считает ИИ-мусор угрозой форумной культуре. Исследование также отмечает опасения, что сводки поиска Google на основе ИИ снижают трафик форумов. Как заметил один анонимный комментатор: «Никто этого не просил — мы хотим, чтобы вы улучшили сайт, перестали брать плату за новые функции».
📖 Полный источник: HN AI Agents
👀 Смотрите также

Безопасность ИИ-агентов: от взлома до злоупотребления инструментами и инъекции промптов
ИИ-агенты, которые просматривают веб-страницы, выполняют команды и запускают рабочие процессы, сталкиваются с рисками безопасности из-за инъекции промптов и неправильного использования инструментов, когда недоверенный контент перенаправляет легитимные инструменты, такие как выполнение команд оболочки и HTTP-запросы.

В репозитории Claude Flow обнаружен троян в файлах skill.md
В репозитории GitHub, содержащем файлы навыков Claude Flow, был обнаружен троян, идентифицированный как JS/CrypoStealz.AE!MTB. Вредоносное ПО активировалось автоматически, когда ИИ-среда разработки открывала папку для чтения файлов markdown.

Бенчмарк безопасности: 10 крупных языковых моделей протестированы с помощью 211 вредоносных запросов.
Исследователь безопасности протестировал 10 больших языковых моделей (LLM) против 211 атакующих воздействий, обнаружив, что устойчивость к извлечению данных в среднем составляет 85%, а устойчивость к внедрению — всего 46,2%. Каждая модель полностью провалила тесты на атаки с использованием разделителей, отвлекающих элементов и стилевого внедрения.

Команды аудита безопасности OpenClaw: отчеты об уязвимостях на простом английском языке
Пользователь Reddit поделился промптом для OpenClaw CLI, который запускает глубокую проверку безопасности и выводит результаты на простом английском языке, указывая, что именно уязвимо, оценки серьёзности и точные исправления в конфигурации.