Scanner de Injeção de Prompt de Modelo Local para Segurança de Habilidades de IA

Vulnerabilidade de Segurança em Habilidades de IA

Uma discussão no X destacou uma falha de segurança grave em habilidades de IA de terceiros. O Claude Code suporta o operador ! para executar comandos bash diretamente dentro das habilidades, mas esses operadores podem ser ocultados em tags HTML, levando a execuções bash das quais o LLM pode não estar ciente.

Implementação do Scanner Local

Uma ferramenta de prova de conceito foi construída para varrer habilidades em busca de possíveis injeções de malware no momento da instalação. O scanner usa um modelo sem chamada de ferramentas executado localmente, especificamente mistral-small:latest no Ollama. O criador relata que "funcionou perfeitamente" durante os testes.

A abordagem funciona de maneira semelhante a um antivírus e poderia ser integrada em um futuro produto "instalador de habilidades". A proteção contra injeção de prompt é identificada como uma aplicação promissora para modelos locais.

Detalhes Técnicos

A vulnerabilidade envolve o operador ! no Claude Code que permite a execução direta de comandos bash. Ataques podem ocultar esses operadores dentro de tags HTML, potencialmente executando comandos maliciosos sem o conhecimento do LLM. O scanner aborda isso analisando as habilidades antes da instalação para detectar tais injeções ocultas.