로컬 파인튜닝된 Llama 3.2-1B, 비밀 탐지에서 Wiz의 모델을 능가하다

한 개발자가 코드 내 비밀 탐지를 위해 Llama 3.2-1B를 로컬에서 미세 조정하는 데 성공한 과정을 문서화했으며, Wiz의 유사 모델 성능을 뛰어넘었습니다. 이 프로젝트는 전적으로 로컬 AI 도구를 사용하여 진행되었으며, 독점 API를 사용하지 않았습니다.

주요 결과 및 접근 방식

개발자는 Wiz의 86% 정밀도와 82% 재현율 결과를 복제하거나 능가하는 것을 목표로 했습니다. 몇 주말 동안 작업한 끝에, 미세 조정된 Llama 3.2-1B 모델로 88% 정밀도와 84.4% 재현율을 동시에 달성했습니다. 또한 Qwen 3.5-2B 및 4B 모델을 벤치마킹했는데, 이들은 더 높은 VRAM 사용량과 긴 추론 시간을 희생하면서 1B 모델보다 더 나은 성능을 보였습니다.

데이터셋 및 학습 과정

이 작업은 공개적으로 이용 가능한 데이터에만 의존했는데, 이는 부족했기 때문에 절차적 생성을 사용하여 데이터셋을 증강하고 개선했습니다. 모든 라벨링은 Qwen3-Coder-Next 모델을 사용하여 로컬에서 수행되었습니다. 주요 학습 목표는 모델이 구조화된 JSON을 출력하도록 하는 것이었습니다. 처음에는 학습되지 않은 모델(Llama & Qwen)이 스키마 준수성에서 0% 점수를 받았지만, 학습 후에는 98-100%로 향상되었습니다.

도전 과제 및 교훈

개발자는 이 과정에서 몇 가지 문제를 발견했습니다:

• 학습에 해로운 고 엔트로피 클래스를 포함했는데, 이를 식별하고 제거했습니다.
• 데이터셋의 '부정적' 샘플 4,500개에 실제 비밀번호가 포함되어 있다는 사실을 발견했으며, 이는 모델이 비밀을 무시하도록 학습되고 있음을 의미했습니다. 이를 수정하여 비밀번호에 대한 재현율이 향상되었습니다.

개발자는 학습 통계, 예시 및 과정의 단계별 분석이 포함된 완전한 기술 보고서를 발표했습니다.