Qwen 3:0.6Bのファインチューニングによる質問分類 - ベースライン対ファインチューニング結果

Torgeir Helgevold氏が、Qwen 3:0.6Bをファインチューニングして家庭用質問を分類する実践的な手順を公開しました。目的は、RAG検索の前に質問をhvac、pool、cookingなどのカテゴリにマッピングし、ベクトル検索空間を狭めることです。

ベースライン結果 – ファインチューニングなしのプロンプト

未調整のQwen 3:0.6Bモデルに厳格なプロンプト（「リストからカテゴリ名のみを返せ」）を使ったところ、131件のテスト質問中13件のみ正解 – 正答率9.9%。よくある失敗は、electric/appliancesのような広すぎるラベルの多用、apartmentsのような新しいカテゴリの生成、nullの返却でした。

ファインチューニングの設定

• 使用モデル: Qwen 3:4B（一般QA用）、Qwen 3:0.6B（分類用）
• フレームワーク: Unsloth（オープンソース、QwenとLlamaに対応）
• データセット: 約850件のラベル付きデータ – 70/15/15分割（訓練/評価/テスト）
• データ例:

  {
    "question": "When did we replace our pool pump?",
    "category": "pool"
  },
  {
    "question": "Who serviced the hot water heater for the home?",
    "category": "water heater"
  }

主要なポイント

600Mパラメータのモデルでも、十分な訓練データがあれば特定ドメインの信頼できる分類器にファインチューニングできる。この記事によると、ファインチューニング後の正答率は10%から80～90%以上に向上し、RAGシステムの前処理ステップとして小型モデルが適していることを示唆している。