Réglage fin de Qwen 3:0.6B pour la catégorisation de questions – Résultats de base vs résultats ajustés

Torgeir Helgevold a publié une mise en œuvre pratique de l'ajustement fin de Qwen 3:0.6B pour catégoriser des questions domestiques. L'objectif : réduire l'espace de recherche vectorielle en mappant les questions à des catégories comme hvac, piscine et cuisine avant la récupération RAG.

Résultats de base – Prompting sans ajustement fin

L'utilisation du modèle Qwen 3:0.6B standard avec une invite stricte (« Renvoie uniquement le nom de la catégorie depuis la liste ») n'a donné que 13 bonnes réponses sur 131 questions de test – une précision de 9,9%. Échecs courants : utilisation excessive d'étiquettes larges comme electric/appareils, invention de nouvelles catégories (ex. appartements), et retour nul.

Configuration de l'ajustement fin

• Modèles utilisés : Qwen 3:4B pour les questions-réponses générales, Qwen 3:0.6B pour la classification
• Cadre : Unsloth (open source, fonctionne avec Qwen et Llama)
• Jeu de données : ~850 entrées annotées – répartition 70/15/15 pour entraînement/validation/test
• Exemple de données :

  {
    "question": "Quand avons-nous remplacé notre pompe de piscine ?",
    "category": "piscine"
  },
  {
    "question": "Qui a entretenu le chauffe-eau de la maison ?",
    "category": "chauffe-eau"
  }

Point clé

Un modèle de 600M paramètres peut être ajusté pour devenir un classificateur fiable pour un domaine spécifique avec suffisamment de données d'entraînement. L'article suggère que la précision après ajustement passe probablement de 10% à 80-90%+, rendant le petit modèle adapté comme étape de prétraitement pour les systèmes RAG.