KI-Agenten-Sicherheit: Über Jailbreaks hinaus zu Werkzeugmissbrauch und Prompt-Injection

Wandel der KI-Agenten-Sicherheit

Der Sicherheitsfokus in der KI hat sich von traditionellen Jailbreaks – bei denen raffinierte Prompts Modelle dazu bringen, Anweisungen zu ignorieren – zu komplexeren Risiken in Agentensystemen verlagert. Im Gegensatz zu Chatbots führen moderne KI-Agenten Aktionen aus: Sie surfen im Web, lesen Dokumente, rufen Tools auf, führen Befehle aus und lösen Workflows aus. Diese Fähigkeit, Aktionen durchzuführen, verändert das Sicherheitsmodell grundlegend.

Wichtige Sicherheitsmuster

Tests zeigen konsistente Muster in Agenten-Workflows:

• Prompt-Injection: Nicht vertrauenswürdige Inhalte beeinflussen, wie Agenten ihre Tools verwenden.
• Tool-Missbrauch: Legitime Tools (Shell-Ausführung, HTTP-Anfragen, Nachrichtenversand usw.) werden von Angreifern umgeleitet, die den Text manipulieren, den der Agent liest.
• Anweisungslecks: Agenten können unbeabsichtigt interne Kontexte durch manipulierte Anweisungen preisgeben.

Ein konkretes dokumentiertes Beispiel betrifft einen Agenten, der seine eigenen Nachrichtentools verwendet, um nach Erhalt einer injizierten Anweisung interne Kontexte nach außen zu senden.

Praktische Auswirkungen

Für Entwickler, die KI-Agenten erstellen oder damit experimentieren, bedeutet dies, dass Sicherheitsüberlegungen über die Verhinderung von Jailbreaks hinausgehen müssen. Die Interaktion zwischen Agenten-Tools und nicht vertrauenswürdigen Inhalten schafft Schwachstellen, bei denen Angreifer die Tool-Nutzung umleiten können, ohne die Tools selbst zu kompromittieren.