Локальная тонкая настройка Llama 3.2-1B для обнаружения секретов превосходит модель Wiz.

Разработчик задокументировал успешную локальную дообучку модели Llama 3.2-1B для обнаружения секретов в коде, превзойдя показатели аналогичной модели от Wiz. Проект был выполнен полностью с использованием локальных инструментов ИИ, без обращения к проприетарным API.

Ключевые результаты и подход

Разработчик ставил цель повторить или превзойти результаты Wiz в 86% точности и 82% полноты. После нескольких выходных работы ему удалось одновременно достичь 88% точности и 84,4% полноты с дообученной моделью Llama 3.2-1B. Также были протестированы модели Qwen 3.5-2B и 4B, которые показали лучшие результаты, чем модель на 1B, ценой большего использования видеопамяти и более долгого времени вывода.

Набор данных и процесс обучения

Работа опиралась исключительно на общедоступные данные, которых было недостаточно, поэтому для аугментации и улучшения набора данных использовалась процедурная генерация. Вся разметка выполнялась локально с помощью модели Qwen3-Coder-Next. Ключевой целью обучения было научить модели выводить структурированный JSON. Изначально необученные модели (Llama и Qwen) показывали 0% соответствия схеме, но после обучения этот показатель улучшился до 98-100%.

Трудности и выводы

В процессе разработчик столкнулся с несколькими проблемами:

• Был включён класс с высокой энтропией, который вредил обучению; он был выявлен и удалён.
• Обнаружилось, что 4500 «негативных» примеров в наборе данных на самом деле содержали реальные пароли, что означало, что модель обучалась игнорировать секреты. Исправление этого улучшило полноту обнаружения паролей.

Разработчик опубликовал полное техническое описание со статистикой обучения, примерами и пошаговым разбором процесса.