Werkzeugautoritätsinjektion in LLM-Agenten: Wenn Werkzeugausgaben die Systemabsicht überschreiben

Ein Forscher hat ein lokales LLM-Agenten-Labor aufgebaut, um 'Tool Authority Injection' zu demonstrieren – ein Szenario, in dem die Ausgabe eines Tools die Systemabsicht in KI-Agenten überschreibt.

Wichtige Details aus der Quelle

In Teil 3 ihrer Laborserie untersucht der Forscher eine fokussierte Form von Tool-Poisoning, bei der ein KI-Agent vertrauenswürdige Tool-Ausgaben auf Policy-Ebene autorisiert und das Verhalten stillschweigend ändert. Das Versagen tritt auf der Reasoning-Ebene auf, nicht auf der Ebene der Sandbox oder des Dateizugriffs – beide bleiben intakt und sicher.

Die Demonstration zeigt, wie Tool-Ausgaben in LLM-Agenten zur Policy werden können, was eine Schwachstelle schafft, bei der sich das Verhalten des Agenten ohne offensichtliche Anzeichen einer Kompromittierung ändert. Diese Art von Angriff findet auf der Reasoning-Ebene statt und nicht durch traditionelle Sicherheitsverletzungen.

Technischer Kontext

Für Entwickler, die mit KI-Agenten arbeiten, unterstreicht diese Demonstration eine subtile, aber wichtige Sicherheitsüberlegung: Selbst wenn Sandboxing und Dateizugriffskontrollen ordnungsgemäß implementiert sind, kann die Reasoning-Ebene, auf der Tools integriert sind, immer noch anfällig für Manipulationen sein. Der Agent arbeitet weiterhin innerhalb seiner Einschränkungen, trifft jedoch aufgrund vergifteter Tool-Ausgaben andere Entscheidungen.

Der vollständige technische Bericht liefert spezifische Details zum Laboraufbau, Angriffsvektoren und den Implikationen für die Sicherheit von KI-Agenten.