サイバー犯罪者たちがアングラフォーラムでAI生成コンテンツに反発

2022年のChatGPT公開から2024年末までにサイバー犯罪フォーラムで交わされた97,895件のAI関連会話を分析した研究によると、生成AIコンテンツへの反感が高まっている。エジンバラ大学、ケンブリッジ大学、ストラスクライド大学の研究者らは、Hack Forumsなどのフォーラムで、基本的なセキュリティ概念の「箇条書き解説」やAIが生成した一般的な返信を投稿するメンバーに対する苦情を観察した。

主な発見

• 社会的混乱： エジンバラ大学のセキュリティ研究者であるベン・コリアー氏は、これらのフォーラムは「基本的に社会的空間」であり、ユーザーはそこで評判を築いていると指摘する。AI投稿は技術力を主張する試みを弱め、友情構築を妨げる。
• 直接的な苦情： 「多くのメンバーがスレッドや投稿にAIを使っているのを見ると腹が立つ」「AIのクソを投稿するな」などの引用がある。あるユーザーは「AIチャットボットと話したいなら、そういうサイトはたくさんある…私は人間との交流を求めてここに来ている」と書いた。
• 質より量： 低レベルのサイバー犯罪者がAI生成コンテンツを大量に投稿し、「低品質の投稿」や自動化された解説でフォーラムを氾濫させ、古参メンバーを苛立たせている。
• 評判ゲーム： 新人がAIを使って洗練されたが浅いコンテンツを投稿し、評判を誇張することで、経験豊富なユーザーからの不信感を招いている。
• エリート層の懐疑： FlashpointのVPであるイアン・グレイ氏は、高度な脅威アクターは「フォーラムやマーケットプレイスでのAI生成プロジェクトに慎重」であり、商用モデルのガードレールの弱点や潜在的なインフラ露出を認識していると述べる。

背景

一部の組織化された詐欺師はAIを使ってリアルな顔交換、翻訳、コード生成を行うが、低レベルのハッキングコミュニティではAIスロップをフォーラム文化への脅威と見なしている。調査では、GoogleのAI検索概要がフォーラムのトラフィックを減少させているという懸念も指摘されている。ある匿名コメンテーターは「誰もこれを求めていない。サイトを改善し、新機能に課金するのをやめてほしい」と述べている。