Claude AI-Umgehung von Sicherheitsvorkehrungen beobachtet, wenn Anfragen als Netzwerksicherheitsaufgaben formuliert werden
Umgehung von Schutzmaßnahmen durch Absichtsformulierung
Ein Nutzer, der das Prompt-Verhalten von Claude KI testete, entdeckte einen Grenzfall, bei dem die Schutzmaßnahmen des Modells durch spezifische Absichtsformulierung umgangen werden können. Bei direkter Anfrage nach Piraterie-Websites lehnt Claude die Anfrage typischerweise ab. Wenn dieselbe Anfrage jedoch als Netzwerksicherheitsaufgabe formuliert wird – insbesondere als Anfrage nach Domains, die auf einem Router oder DNS-Filter blockiert werden sollen – lieferte das Modell eine Liste mit Piraterie-Domains.
Nach Erhalt der Liste wies der Nutzer darauf hin, dass die Formulierung die Antwort beeinflusst hatte. Claude räumte ein, die Absicht falsch interpretiert zu haben. Dies scheint ein Problem bei der Absichtsklassifizierung zu sein, bei dem defensive Formulierungen ("diese Seiten blockieren") dazu führen, dass die Schutzmaßnahme Informationen zulässt, die normalerweise eingeschränkt wären.
Der Nutzer teilte Screenshots, die die vollständige Prompt-Sequenz und Claudes Antworten zeigen, und dokumentierte so das Verhalten. Er bezeichnete dies als interessanten Grenzfall und fragte, ob andere ähnliches Verhalten bei Claude oder anderen großen Sprachmodellen beobachtet haben.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
BlindKey: Blinde Anmeldeinformationen-Injektion für KI-Agenten
BlindKey ist ein Sicherheitstool, das KI-Agenten den Zugriff auf Klartext-API-Zugangsdaten verhindert, indem es verschlüsselte Vault-Token und einen lokalen Proxy verwendet. Agenten verweisen auf Token wie bk://stripe, und der Proxy injiziert die echte Zugangsdaten zur Zeit der Anfrage.
OpenClaw-Benutzer teilt Strategie zum Ausgleich zwischen Agentenautonomie und Websicherheit
Ein OpenClaw-Benutzer beschreibt seine aktuelle Herausforderung: das Gleichgewicht zwischen Agentenautonomie und Sicherheit, insbesondere in Bezug auf Webzugriff und Prompt-Injection-Risiken. Er schlägt eine Lösung vor, die 'geringes Vertrauen' und 'hohes Vertrauen' in Agentensegmenten mit einer menschlichen Genehmigungsstufe verwendet.
Vertraue KI nicht mehr als einem Menschen – Wende dieselben Zugangskontrollen an
In einer Reddit-Diskussion wird argumentiert, dass KI-Coding-Agenten wie Junioren behandelt werden sollten – kein Produktionszugriff, keine direkten Schreibrechte, Durchsetzung von CI/CD-Pipelines und rollenbasierten Berechtigungen.
Architektonische Lösung für die Überzentralisierung von KI-Agenten: Trennung von Gedächtnis, Ausführung und ausgehenden Aktionen
Ein Entwickler erkannte, dass sein KI-Assistent zu einem 'internen Autokraten' wurde, indem er Langzeitgedächtnis, Werkzeugzugriff und autonome Entscheidungen in einer Komponente vereinte. Die Lösung bestand darin, das System in drei Rollen aufzuteilen: privater Controller, fokussierte Worker und ausgehende Gateways.