Le dépôt GitHub documente 16 techniques d'injection de prompt et des stratégies de défense pour les chats d'IA publics.
Un développeur a créé un chat d'IA personnalisé sur son site web en tant qu'expérience et a rencontré plusieurs défis de sécurité lorsque de vrais utilisateurs ont tenté de le compromettre. Cette expérience a conduit à la création d'un guide de sécurité complet disponible sur GitHub.
Défis de sécurité rencontrés
Les utilisateurs ont tenté diverses attaques incluant :
- Injection de prompt
- Attaques de jeu de rôle
- Astuces multilingues
- Charges utiles encodées en base64
Stratégies de défense mises en œuvre
Le développeur a documenté une approche de défense en profondeur couvrant :
- Assainissement des entrées
- Limitation du débit
- Conception de prompt système en approche zéro confiance
- Contrôles de sortie
- Plafonds de coût
Contenu du dépôt GitHub
Le dépôt inclut :
- Une analyse des 16 techniques d'injection de prompt
- Une compétence de code Claude qui teste automatiquement les 16 techniques contre votre chatbot
- Les détails complets de mise en œuvre de la défense
Le développeur note que les utilisateurs ont essayé des choses qu'ils "n'auraient jamais pensé à tester" et que le guide est destiné à être utile pour toute personne mettant en œuvre des systèmes de chat d'IA publics similaires.
📖 Lire la source complète : r/ClaudeAI
👀 See Also
Dégriffé : Un Scanner de Logiciels Malveillants Avancé et Communautaire pour les Fichiers SKILL.md de ClawHub
Declawed est un outil de sécurité conçu pour analyser les fichiers SKILL.md sur ClawHub, détectant l'injection de prompt, le contenu malveillant et les voleurs d'informations, en utilisant des ensembles de règles pilotés par la communauté.
La défense par délimiteur fait passer Gemma 4 de 21% à 100% de défense contre l'injection de prompts dans un test de référence de plus de 6100 tests.
Un benchmark a testé 15 modèles sur 7 types d'attaques (plus de 6100 tests) en utilisant des délimiteurs aléatoires autour du contenu non fiable. Gemma 4 E4B est passé de 21,6 % à 100 % de taux de défense avec délimiteur + prompt strict.
ClawGuard : Passerelle de Sécurité Open-Source pour la Protection des Identifiants de l'API OpenClaw
ClawGuard est une passerelle de sécurité qui se situe entre les agents d'IA et les API externes, utilisant des identifiants factices sur la machine de l'agent tout en stockant les jetons réels séparément. Il fournit une approbation Telegram pour les appels sensibles et conserve une piste d'audit des requêtes.
Surveillance des commandes OpenClaw avec Python et Gemini Flash pour la sécurité
Un utilisateur a créé un script Python qui suit les commandes injectées par OpenClaw, les analyse avec Gemini Flash et envoie des notifications via un webhook Discord pour toute activité alarmante ou irrégulière, pour un coût d'environ 0,14 $ par jour.