Scanner d'Injection de Prompt de Modèle Local pour la Sécurité des Compétences IA
Vulnérabilité de sécurité dans les compétences d'IA
Une discussion sur X a mis en lumière une faille de sécurité sérieuse dans les compétences d'IA tierces. Claude Code prend en charge l'opérateur ! pour exécuter des commandes bash directement dans les compétences, mais ces opérateurs peuvent être cachés dans des balises HTML, conduisant à des exécutions bash dont le LLM pourrait ne pas être conscient.
Implémentation d'un scanner local
Un outil de preuve de concept a été développé pour analyser les compétences afin de détecter d'éventuelles injections de logiciels malveillants au moment de l'installation. Le scanner utilise un modèle sans appel d'outils fonctionnant localement, spécifiquement mistral-small:latest sur Ollama. Le créateur rapporte qu'il a "fonctionné à merveille" lors des tests.
L'approche fonctionne de manière similaire à un antivirus et pourrait être intégrée dans un futur produit "installateur de compétences". La protection contre l'injection de prompts est identifiée comme une application prometteuse pour les modèles locaux.
Détails techniques
La vulnérabilité concerne l'opérateur ! dans Claude Code qui permet l'exécution directe de commandes bash. Les attaquants peuvent cacher ces opérateurs dans des balises HTML, exécutant potentiellement des commandes malveillantes à l'insu du LLM. Le scanner aborde ce problème en analysant les compétences avant installation pour détecter de telles injections cachées.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Le SDK d'accès de l'agent Bitwarden s'intègre à OneCLI pour l'injection sécurisée des identifiants.
Le nouveau SDK d'accès aux agents de Bitwarden permet aux agents IA d'accéder aux identifiants du coffre-fort de Bitwarden avec approbation humaine, tandis qu'OneCLI agit comme une passerelle qui injecte les identifiants au niveau réseau sans exposer les valeurs brutes aux agents.
McpVanguard : Proxy de sécurité open-source pour les agents d'IA basés sur MCP
McpVanguard est un proxy de sécurité et un pare-feu à 3 couches qui se place entre les agents d'IA et les outils MCP, ajoutant une protection contre l'injection de prompts, le parcours de chemins et d'autres attaques avec une latence d'environ 16 ms.
Paquet PyTorch Lightning malveillant vole des identifiants et infecte les packages npm
Les versions 2.6.2 et 2.6.3 du package PyPI 'lightning' contiennent un malware sur le thème de Shai-Hulud qui vole des identifiants, des jetons et des secrets cloud, et se propage aux packages npm via des charges utiles JavaScript injectées.
Clawndom : Un crochet de sécurité pour Claude Code pour bloquer les paquets npm vulnérables
Un développeur a créé Clawndom, un crochet open-source pour Claude Code qui vérifie les packages npm dans la base de données de vulnérabilités OSV.dev avant l'installation, bloquant les packages vulnérables connus tout en préservant l'autonomie de l'agent.