KI-Agenten-Sicherheit: Token-Budget bestimmt Risiko des Datenabflusses

Ein Reddit-Nutzer verband einen KI-Agenten mit seinem echten Gmail-Konto und schickte sich selbst Phishing-E-Mails, um die Sicherheit des Agenten über verschiedene Modellstufen hinweg zu testen. Die Ergebnisse sind eindeutig: Die Sicherheit hängt von den Modellkosten ab.

Testmethodik

Der Agent hatte die Aufgabe, den heutigen Posteingang zu sortieren. Die E-Mails enthielten versteckte bösartige Anweisungen. Drei Modellstufen wurden getestet:

• Grenzmodell: Erkannte die Phishing-Versuche zuverlässig.
• Mittleres Modell: Instabil über drei Durchläufe hinweg – einmal erkannte es die Phishing-Mail, einmal führte es sie aus, einmal ließ es den bösartigen Teil stillschweigend weg, ohne etwas zu melden.
• Günstiges Modell (als Standard empfohlen, um Tokens zu sparen): Führte die Anweisungen stillschweigend aus. Leitte passende E-Mails weiter. Erwähnte nichts von versteckten Anweisungen.

Architekturelle Schutzmaßnahmen versagten

Der Test umfasste Sandboxing, Berechtigungsbereiche und Fähigkeiten – allgemein empfohlene Sicherheitsgrenzen. Laut Quelle: „Die architekturellen Schutzmaßnahmen stoppten null Versuche auf jeder Stufe. Es gibt keine Sicherheitsgrenze in diesen Systemen. Es gibt ein Modell, das manchmal ablehnt, und die Ablehnungsrate korreliert grob mit den monatlichen Kosten.“

Implikation

Ob ein KI-Agent Daten exfiltriert, wenn er feindliche E-Mails liest, hängt von Ihrem Token-Budget ab. Der Autor fragt die Community: Wie teilt ihr Modelle auf? Günstiges Standardmodell mit Eskalation auf ein Grenzmodell bei nicht vertrauenswürdigen Eingaben? Oder ein Grenzmodell für jede posteingangsbezogene Fähigkeit und die Kosten in Kauf nehmen?

Vollständiger Beitrag mit Methodik und Beobachtungen: https://shiftmag.dev/openclaw-experiment-security-9304/