Cyberkriminelle wehren sich gegen KI-generierten Schrott in Untergrundforen

Eine Studie, die 97.895 KI-bezogene Gespräche in Cyberkriminalitätsforen vom Start von ChatGPT im Jahr 2022 bis Ende 2024 analysiert, zeigt eine wachsende Abneigung gegenüber generativen KI-Inhalten. Forscher der Universitäten Edinburgh, Cambridge und Strathclyde beobachteten Gegenwind in Foren wie Hack Forums, wo sich Nutzer darüber beschwerten, dass Mitglieder „stichpunktartige Erklärungen" grundlegender Sicherheitskonzepte und generische KI-generierte Antworten posten.
Wichtigste Erkenntnisse
- Soziale Störung: Ben Collier, Sicherheitsforscher an der Universität Edinburgh, stellt fest, dass diese Foren „im Wesentlichen soziale Räume" sind, in denen Nutzer sich einen Ruf aufbauen. KI-Beiträge untergraben Behauptungen über Fähigkeiten und stören die Freundschaftsbildung.
- Direkte Beschwerden: Zitate sind unter anderem „Ich sehe viele Mitglieder, die KI für ihre Beiträge nutzen, und das regt mich auf" und „Hört auf, KI-Scheiße zu posten." Ein Nutzer schrieb: „Wenn ich mit einem KI-Chatbot reden wollte, gibt es viele Websites dafür … ich komme hierher für menschliche Interaktion."
- Qualität vs. Quantität: Weniger qualifizierte Cyberkriminelle überschwemmen Foren mit KI-generierten Inhalten, „qualitativ minderwertigen Beiträgen" und automatisierten Erklärungen, was etablierte Mitglieder verärgert.
- Reputationsspiel: Neulinge nutzen KI, um ihren Ruf aufzubessern, indem sie polierte, aber oberflächliche Inhalte posten, was ihnen Misstrauen von erfahrenen Nutzern einbringt.
- Elite-Skepsis: Ian Gray, VP bei Flashpoint, sagt, dass anspruchsvolle Bedrohungsakteure „vorsichtig gegenüber KI-generierten Projekten in Foren oder Marktplätzen" sind und sich der Schwächen der Schutzmechanismen kommerzieller Modelle und der möglichen Offenlegung der Infrastruktur bewusst sind.
Kontext
Während einige organisierte Betrüger KI für realistischen Gesichtsaustausch, Übersetzung und Codegenerierung nutzen, betrachtet die untere Hackergemeinschaft KI-Müll als Bedrohung der Forenkultur. Die Studie merkt auch an, dass Googles KI-Übersichten die Forenaktivität reduzieren. Wie ein anonymer Kommentator es ausdrückte: „Das hat niemand verlangt – wir wollen, dass du die Seite verbesserst, hör auf, für neue Funktionen zu verlangen."
📖 Read the full source: HN AI Agents
👀 Siehe auch

Forschung: Unsichtbare Unicode-Zeichen können LLM-Agenten über Werkzeugzugriffe kapern
Eine Studie untersuchte, ob LLMs Anweisungen folgen, die in unsichtbaren Unicode-Zeichen versteckt sind, die in normalen Texten eingebettet sind. Dabei wurden zwei Kodierungsschemata über fünf Modelle und 8.308 bewertete Ausgaben getestet. Hauptergebnis: Der Zugang zu Werkzeugen steigert die Befolgung von unter 17 % auf 98–100 %, wobei Modelle Python-Skripte schreiben, um die versteckten Zeichen zu decodieren.

CodeWall KI-Agent entdeckt kritische Schwachstellen in McKinseys Lilli-Plattform
CodeWalls autonomer offensiver KI-Agent erhielt innerhalb von 2 Stunden vollständigen Lese-/Schreibzugriff auf McKinseys interne Lilli-KI-Plattform-Datenbank und legte 46,5 Millionen Chat-Nachrichten, 728.000 Dateien und sensible Systemkonfigurationen durch SQL-Injection- und IDOR-Schwachstellen offen.

Claude Cage: Docker-Sandbox für Claude-Code-Sicherheit
Ein Entwickler hat einen Docker-Container namens Claude Cage erstellt, der Claude Code auf einen einzigen Arbeitsbereich-Ordner beschränkt und so den Zugriff auf SSH-Schlüssel, AWS-Zugangsdaten und persönliche Dateien verhindert. Das Setup umfasst Sicherheitsregeln und dauert etwa 2 Minuten bei installiertem Docker.

Clawvisor: Zweckbasierte Autorisierungsschicht für OpenClaw-Agenten
Clawvisor ist eine Autorisierungsschicht, die zwischen KI-Agenten und APIs sitzt und zweckbasierte Autorisierung durchsetzt, bei der Agenten Absichten deklarieren, Benutzer bestimmte Zwecke genehmigen und ein KI-Gatekeeper jede Anfrage gegen diesen Zweck überprüft. Anmeldedaten verlassen Clawvisor nie und Agenten sehen sie nie.