Ajuste Fino do Qwen 3:0.6B para Categorização de Perguntas – Resultados da Linha de Base vs. Ajuste Fino

Torgeir Helgevold publicou um guia prático sobre o ajuste fino do Qwen 3:0.6B para categorizar perguntas domésticas. O objetivo: reduzir o espaço de busca vetorial mapeando perguntas para categorias como hvac, piscina e cozinha antes da recuperação RAG.

Resultados da Linha de Base – Prompt sem Ajuste Fino

Usando o modelo Qwen 3:0.6B padrão com um prompt rigoroso ("Retorne apenas o nome da categoria da lista") obteve-se apenas 13 respostas corretas em 131 perguntas de teste – 9,9% de precisão. Falhas comuns: uso excessivo de rótulos amplos como eletric/eletrodomésticos, invenção de novas categorias (ex.: apartamentos) e retorno nulo.

Configuração do Ajuste Fino

• Modelos usados: Qwen 3:4B para QA geral, Qwen 3:0.6B para classificação
• Framework: Unsloth (código aberto, compatível com Qwen e Llama)
• Conjunto de dados: ~850 entradas rotuladas – divisão 70/15/15 para treino/validação/teste
• Exemplo de dados:

  {
    "pergunta": "Quando trocamos a bomba da piscina?",
    "categoria": "piscina"
  },
  {
    "pergunta": "Quem fez a manutenção do aquecedor de água da casa?",
    "categoria": "aquecedor de água"
  }

Conclusão Principal

Um modelo de 600M parâmetros pode ser ajustado para se tornar um classificador confiável para um domínio específico quando recebe dados de treinamento suficientes. O artigo sugere que a precisão do modelo ajustado provavelmente salta de 10% para 80-90%+, tornando o modelo pequeno adequado como etapa de pré-processamento para sistemas RAG.