Ajuste Fino de Qwen 3:0.6B para Categorización de Preguntas – Resultados Base vs Ajustados

Torgeir Helgevold publicó un recorrido práctico de ajuste fino de Qwen 3:0.6B para categorizar preguntas domésticas. El objetivo: reducir el espacio de búsqueda vectorial mapeando preguntas a categorías como hvac, pool y cooking antes de la recuperación RAG.

Resultados de referencia – Prompting sin ajuste fino

Usando el modelo Qwen 3:0.6B estándar con un prompt estricto ('Devuelve solo el nombre de la categoría de la lista') se obtuvieron solo 13 correctas de 131 preguntas de prueba – 9.9% de precisión. Fallos comunes: uso excesivo de etiquetas amplias como electric/appliances, invención de nuevas categorías (ej. apartments) y devolución de nulo.

Configuración del ajuste fino

• Modelos usados: Qwen 3:4B para QA general, Qwen 3:0.6B para clasificación
• Framework: Unsloth (código abierto, funciona con Qwen y Llama)
• Dataset: ~850 entradas etiquetadas – división 70/15/15 para entrenamiento/evaluación/prueba
• Datos de muestra:

  {
    "question": "¿Cuándo reemplazamos nuestra bomba de la piscina?",
    "category": "pool"
  },
  {
    "question": "¿Quién realizó el mantenimiento del calentador de agua de la casa?",
    "category": "water heater"
  }

Conclusión clave

Un modelo de 600M parámetros puede ajustarse para convertirse en un clasificador confiable para un dominio específico cuando se le proporcionan suficientes datos de entrenamiento. El artículo sugiere que la precisión ajustada probablemente salta del 10% al 80-90%+, haciendo que el modelo pequeño sea adecuado como paso de preprocesamiento para sistemas RAG.