Тонкая настройка Qwen 3:0.6B для категоризации вопросов – базовый уровень против результатов точной настройки

Торгейр Хельгеволд опубликовал практическое руководство по тонкой настройке Qwen 3:0.6B для категоризации бытовых вопросов. Цель: сузить пространство векторного поиска, сопоставляя вопросы с категориями, такими как hvac, pool и cooking, перед RAG-поиском.

Базовые результаты – промптинг без тонкой настройки

Использование стандартной модели Qwen 3:0.6B со строгим промптом («Верни только название категории из списка») дало лишь 13 правильных ответов из 131 тестового вопроса – точность 9,9%. Типичные ошибки: чрезмерное использование широких меток, например electric/appliances, выдумывание новых категорий (например, apartments) и возврат null.

Настройка тонкой настройки

• Используемые модели: Qwen 3:4B для общего QA, Qwen 3:0.6B для классификации
• Фреймворк: Unsloth (открытый исходный код, работает с Qwen и Llama)
• Набор данных: ~850 размеченных записей – разбивка 70/15/15 для обучения/валидации/тестирования
• Пример данных:

  {
    "question": "When did we replace our pool pump?",
    "category": "pool"
  },
  {
    "question": "Who serviced the hot water heater for the home?",
    "category": "water heater"
  }

Ключевой вывод

Модель с 600 млн параметров может быть дообучена в надежный классификатор для конкретной области при достаточном объеме обучающих данных. Статья предполагает, что точность после дообучения, скорее всего, вырастет с 10% до 80-90%+, что делает крошечную модель подходящей в качестве этапа предобработки для RAG-систем.