Сканер локального внедрения промптов в модели для безопасности AI-навыков
Уязвимость безопасности в навыках ИИ
Обсуждение на X выявило серьёзный недостаток безопасности в сторонних навыках ИИ. Claude Code поддерживает оператор ! для непосредственного выполнения bash-команд внутри навыков, но эти операторы могут быть скрыты в HTML-тегах, что приводит к выполнению bash-команд, о которых ИИ может не знать.
Реализация локального сканера
Был создан концептуальный инструмент для сканирования навыков на потенциальное внедрение вредоносного кода во время установки. Сканер использует модель без вызова инструментов, работающую локально, в частности mistral-small:latest на Ollama. Создатель сообщает, что он "работал идеально" во время тестирования.
Этот подход функционирует аналогично антивирусному сканеру и может быть интегрирован в будущий продукт "установщик навыков". Защита от инъекций в промпты определена как перспективное применение локальных моделей.
Технические детали
Уязвимость связана с оператором ! в Claude Code, который позволяет напрямую выполнять bash-команды. Злоумышленники могут скрывать эти операторы внутри HTML-тегов, потенциально выполняя вредоносные команды без ведома ИИ. Сканер решает эту проблему, анализируя навыки перед установкой для обнаружения таких скрытых инъекций.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Nullgaze: Выпущен открытую исходный код сканер безопасности с поддержкой ИИ.
Nullgaze — это новый открытый проект, поддерживаемый ИИ, который сканирует безопасность и выявляет уязвимости, специфичные для кода, сгенерированного ИИ, с почти нулевым количеством ложных срабатываний.
FakeKey: инструмент для обеспечения безопасности API-ключей на Rust, который заменяет реальные ключи на поддельные
FakeKey — это инструмент безопасности на основе Rust, который заменяет настоящие API-ключи на поддельные в средах приложений, храня настоящие ключи в зашифрованном виде в системном хранилище ключей и внедряя их только во время HTTP/S-запросов.
Киберпреступники дают отпор сгенерированному ИИ мусору на подпольных форумах
Новое исследование показывает, что хакеры низкого уровня и мошенники жалуются на посты, созданные ИИ, на киберпреступных форумах, считая их низкокачественным шумом, подрывающим доверие сообщества и социальное взаимодействие.
Анализатор навыков теперь доступен на ClawHub с установкой одной командой.
Сканер безопасности OpenClaw Skill Analyzer теперь доступен на ClawHub с установкой одной командой. Инструмент проверяет папки навыков на наличие вредоносных паттернов, таких как инъекция промптов и кража учетных данных, и включает поддержку Docker-песочницы для безопасного выполнения.