Feinabstimmung von Qwen 3:0.6B für Fragekategorisierung – Basislinie vs. verfeinerte Ergebnisse

Torgeir Helgevold hat eine praktische Anleitung zur Feinabstimmung von Qwen 3:0.6B zur Kategorisierung von Haushaltsfragen veröffentlicht. Ziel: den Vektorsuchraum durch Zuordnung von Fragen zu Kategorien wie hvac, pool und cooking vor dem RAG-Abruf zu verkleinern.

Baseline-Ergebnisse – Prompting ohne Feinabstimmung

Mit dem Standardmodell Qwen 3:0.6B und einem strengen Prompt („Nur den Kategorienamen aus der Liste zurückgeben“) wurden nur 13 von 131 Testfragen richtig beantwortet – 9,9 % Genauigkeit. Häufige Fehler: übermäßige Verwendung breiter Labels wie electric/appliances, Erfinden neuer Kategorien (z. B. apartments) und Rückgabe von null.

Einrichtung der Feinabstimmung

• Verwendete Modelle: Qwen 3:4B für allgemeine QA, Qwen 3:0.6B für Klassifikation
• Framework: Unsloth (Open Source, funktioniert mit Qwen und Llama)
• Datensatz: ~850 beschriftete Einträge – 70/15/15-Aufteilung für Training/Validierung/Test
• Beispieldaten:

  {
    "question": "Wann haben wir unsere Poolpumpe ausgetauscht?",
    "category": "pool"
  },
  {
    "question": "Wer hat den Warmwasserbereiter für das Haus gewartet?",
    "category": "water heater"
  }

Wichtigste Erkenntnis

Ein 600-Millionen-Parameter-Modell kann mit ausreichend Trainingsdaten zu einem zuverlässigen Klassifikator für eine bestimmte Domäne feinabgestimmt werden. Der Beitrag deutet darauf hin, dass die Genauigkeit durch Feinabstimmung wahrscheinlich von 10 % auf 80-90 %+ steigt, was das winzige Modell als Vorverarbeitungsschritt für RAG-Systeme geeignet macht.