Qwen2-0.5B feinabgestimmt für lokale Aufgabenautomatisierung mit llama.cpp

Ein Entwickler hat Qwen2-0.5B für die Aufgabenautomatisierung feinabgestimmt und ein Modell erstellt, das vollständig lokal auf der CPU läuft, ohne GPU oder Cloud-APIs zu benötigen. Das Projekt mit dem Namen ACE ist auf GitHub verfügbar.

Was es tut

• Nimmt Aufgaben in natürlicher Sprache entgegen (z.B. "Kopiere Protokolle zur Sicherung")
• Erkennt den Aufgabentyp: atomar, wiederholend oder Klärungsbedarf
• Generiert Ausführungspläne bestehend aus CLI-Befehlen und Hotkeys
• Läuft vollständig lokal auf der CPU (keine GPU, keine Cloud-APIs)

Technische Details

• Basismodell: Qwen2-0.5B
• Training: LoRA-Feinabstimmung auf etwa 1000 benutzerdefinierten Aufgabenbeispielen
• Quantisierung: GGUF Q4_K_M-Format (300 MB Dateigröße)
• Inferenz: llama.cpp
• Inferenzzeit: 3-10 Sekunden auf i3/i5-Prozessoren

Hauptherausforderungen während des Trainings

• Datenqualität: Datensatz musste 2-3 Mal aufgrund von unbrauchbaren Beispielen neu generiert werden
• Überanpassung: Mehrere Iterationen nötig, um den Validierungsverlust stabil zu bekommen
• EOS-Token-Verarbeitung: Modell hörte nicht auf zu generieren, bis die Tokenizer-Konfiguration behoben wurde
• GGUF-Konvertierung: Erforderte BF16-Datentyp + imatrix-Quantisierung für stabile Ausgaben

Einschränkungen (v0.1)

• Benötigt vollständige Dateipfade (noch keine intelligente Dateisuche)
• Nur CPU-Inferenz (langsamer auf älterer Hardware)
• Grundlegende Ausführung (kein visuelles Verständnis)

Leistungsbenchmarks

• i5 (2018+) mit SSD: 3-5 Sekunden
• i3 (2015+) mit SSD: 5-10 Sekunden
• Ältere Hardware (Pentium + HDD): 30-90 Sekunden

Der Entwickler sucht Feedback zur Leistung auf verschiedenen Hardware-Konfigurationen, Grenzfällen, die das Modell zum Scheitern bringen, und Feature-Anfragen für v0.2.