Ajuste Local Fino do Llama 3.2-1B para Detecção de Segredos Supera o Modelo da Wiz

Um desenvolvedor documentou sua bem-sucedida adaptação local do Llama 3.2-1B para detecção de segredos em código, superando as métricas de um modelo similar da Wiz. O projeto foi conduzido inteiramente com ferramentas de IA locais, evitando APIs proprietárias.

Resultados Principais e Abordagem

O desenvolvedor tinha como objetivo replicar ou superar os resultados da Wiz de 86% de precisão e 82% de recall. Após alguns fins de semana de trabalho, eles alcançaram 88% de precisão e 84,4% de recall simultaneamente com um modelo Llama 3.2-1B adaptado. Eles também avaliaram os modelos Qwen 3.5-2B e 4B, que superaram o modelo de 1B ao custo de maior uso de VRAM e tempos de inferência mais longos.

Conjunto de Dados e Processo de Treinamento

O trabalho dependeu exclusivamente de dados publicamente disponíveis, que eram insuficientes, então a geração procedural foi usada para aumentar e melhorar o conjunto de dados. Toda a rotulagem foi feita localmente usando o modelo Qwen3-Coder-Next. Um objetivo de treinamento fundamental era fazer com que os modelos gerassem JSON estruturado. Inicialmente, modelos não treinados (Llama e Qwen) tiveram pontuação de 0% em conformidade com o esquema, mas após o treinamento, isso melhorou para 98-100%.

Desafios e Aprendizados

O desenvolvedor encontrou vários problemas durante o processo:

• Incluiu uma classe de alta entropia que foi prejudicial ao treinamento; isso foi identificado e removido.
• Descobriu que 4.500 das amostras 'negativas' no conjunto de dados realmente continham senhas do mundo real, o que significa que o modelo estava sendo treinado para ignorar segredos. Corrigir isso melhorou o recall em senhas.

O desenvolvedor publicou um relatório técnico completo com estatísticas de treinamento, exemplos e uma explicação passo a passo do processo.