Injection d'autorité d'outil dans les agents LLM : quand la sortie de l'outil prime sur l'intention du système
Un chercheur a construit un laboratoire d'agent LLM local pour démontrer l''Injection d'Autorité d'Outil' - un scénario où la sortie d'outil remplace l'intention du système dans les agents d'IA.
Détails Clés de la Source
Dans la Partie 3 de leur série de laboratoires, le chercheur explore une forme ciblée d'empoisonnement d'outil où un agent d'IA élève la sortie d'outil de confiance au niveau d'autorité politique et modifie silencieusement son comportement. L'échec se produit au niveau de la couche de raisonnement, et non au niveau du sandbox ou de l'accès aux fichiers - les deux restent intacts et sécurisés.
La démonstration montre comment la sortie d'outil peut devenir une politique dans les agents LLM, créant une vulnérabilité où le comportement de l'agent change sans signes évidents de compromission. Ce type d'attaque se produit au niveau de la couche de raisonnement plutôt que par des brèches de sécurité traditionnelles.
Contexte Technique
Pour les développeurs travaillant avec des agents d'IA, cette démonstration met en lumière une considération de sécurité subtile mais importante : même lorsque le sandboxing et les contrôles d'accès aux fichiers sont correctement mis en œuvre, la couche de raisonnement où les outils sont intégrés peut toujours être vulnérable à la manipulation. L'agent continue de fonctionner dans ses contraintes mais prend des décisions différentes basées sur la sortie d'outil empoisonnée.
Le rapport technique complet fournit des détails spécifiques sur la configuration du laboratoire, les vecteurs d'attaque et les implications pour la sécurité des agents d'IA.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
BlindKey : Injection d'Informations d'Identification Aveugle pour les Agents IA
BlindKey est un outil de sécurité qui empêche les agents d'IA d'accéder aux identifiants API en texte clair en utilisant des jetons de coffre-fort chiffrés et un proxy local. Les agents font référence à des jetons comme bk://stripe, et le proxy injecte les identifiants réels au moment de la requête.
Claude Code --dangerously-skip-permissions vulnérabilité et outil de défense open-source
Lasso Security a publié une recherche révélant des vulnérabilités d'injection indirecte de prompt dans Claude Code lors de l'utilisation du drapeau --dangerously-skip-permissions, avec des vecteurs d'attaque incluant des fichiers README empoisonnés, du contenu web malveillant et des sorties de serveur MCP. Ils ont publié un crochet PostToolUse open-source qui analyse les sorties d'outils contre plus de 50 modèles de détection.
Clawvisor : Couche d'Autorisation Basée sur l'Intention pour les Agents OpenClaw
Clawvisor est une couche d'autorisation qui se situe entre les agents d'IA et les API, appliquant une autorisation basée sur l'intention où les agents déclarent leurs intentions, les utilisateurs approuvent des objectifs spécifiques, et un gardien IA vérifie chaque requête par rapport à cet objectif. Les identifiants ne quittent jamais Clawvisor et les agents ne les voient jamais.
Sunder : Un pare-feu de confidentialité locale pour LLM basé sur Rust
Sunder est une extension Chrome qui agit comme un pare-feu de confidentialité local pour les discussions d'IA, construite en Rust et WebAssembly, garantissant que les données sensibles ne quittent jamais votre navigateur.