질문 분류를 위한 Qwen 3:0.6B 미세 조정 – 기준선 대 미세 조정 결과

Torgeir Helgevold가 Qwen 3:0.6B를 미세 조정하여 가정용 질문을 분류하는 실용적인 가이드를 공개했습니다. 목표: RAG 검색 전에 질문을 hvac, pool, cooking 같은 범주로 매핑하여 벡터 검색 공간을 좁히는 것입니다.

기준 결과 – 미세 조정 없는 프롬프트

기본 Qwen 3:0.6B 모델에 엄격한 프롬프트("목록에서 범주 이름만 반환")를 사용한 결과, 131개 테스트 질문 중 13개만 정답(9.9% 정확도)을 맞췄습니다. 일반적인 실패 사례: electric/appliances 같은 광범위한 레이블 과다 사용, apartments 같은 새로운 범주 생성, null 반환 등이 있었습니다.

미세 조정 설정

• 사용 모델: 일반 QA용 Qwen 3:4B, 분류용 Qwen 3:0.6B
• 프레임워크: Unsloth(오픈 소스, Qwen 및 Llama 지원)
• 데이터셋: 약 850개의 레이블링된 항목 – 훈련/평가/테스트 70/15/15 분할
• 샘플 데이터:

  {
    "question": "언제 수영장 펌프를 교체했나요?",
    "category": "pool"
  },
  {
    "question": "누가 집의 온수 히터를 수리했나요?",
    "category": "water heater"
  }

핵심 포인트

600M 파라미터 모델도 충분한 훈련 데이터가 주어지면 특정 도메인에서 신뢰할 수 있는 분류기로 미세 조정될 수 있습니다. 이 게시물은 미세 조정 정확도가 10%에서 80-90% 이상으로 향상되어, 소형 모델이 RAG 시스템의 전처리 단계로 적합함을 시사합니다.