Qwen2-0.5B feinabgestimmt für lokale Aufgabenautomatisierung mit llama.cpp
Ein Entwickler hat Qwen2-0.5B für die Aufgabenautomatisierung feinabgestimmt und ein Modell erstellt, das vollständig lokal auf der CPU läuft, ohne GPU oder Cloud-APIs zu benötigen. Das Projekt mit dem Namen ACE ist auf GitHub verfügbar.
Was es tut
- Nimmt Aufgaben in natürlicher Sprache entgegen (z.B. "Kopiere Protokolle zur Sicherung")
- Erkennt den Aufgabentyp: atomar, wiederholend oder Klärungsbedarf
- Generiert Ausführungspläne bestehend aus CLI-Befehlen und Hotkeys
- Läuft vollständig lokal auf der CPU (keine GPU, keine Cloud-APIs)
Technische Details
- Basismodell: Qwen2-0.5B
- Training: LoRA-Feinabstimmung auf etwa 1000 benutzerdefinierten Aufgabenbeispielen
- Quantisierung: GGUF Q4_K_M-Format (300 MB Dateigröße)
- Inferenz: llama.cpp
- Inferenzzeit: 3-10 Sekunden auf i3/i5-Prozessoren
Hauptherausforderungen während des Trainings
- Datenqualität: Datensatz musste 2-3 Mal aufgrund von unbrauchbaren Beispielen neu generiert werden
- Überanpassung: Mehrere Iterationen nötig, um den Validierungsverlust stabil zu bekommen
- EOS-Token-Verarbeitung: Modell hörte nicht auf zu generieren, bis die Tokenizer-Konfiguration behoben wurde
- GGUF-Konvertierung: Erforderte BF16-Datentyp + imatrix-Quantisierung für stabile Ausgaben
Einschränkungen (v0.1)
- Benötigt vollständige Dateipfade (noch keine intelligente Dateisuche)
- Nur CPU-Inferenz (langsamer auf älterer Hardware)
- Grundlegende Ausführung (kein visuelles Verständnis)
Leistungsbenchmarks
- i5 (2018+) mit SSD: 3-5 Sekunden
- i3 (2015+) mit SSD: 5-10 Sekunden
- Ältere Hardware (Pentium + HDD): 30-90 Sekunden
Der Entwickler sucht Feedback zur Leistung auf verschiedenen Hardware-Konfigurationen, Grenzfällen, die das Modell zum Scheitern bringen, und Feature-Anfragen für v0.2.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Gehirn: Ein persistentes Fehlerspeichersystem für Claude Code über MCP
Brain ist ein Open-Source-MCP-Server, der Claude Code persistenten, projektübergreifenden Speicher für Fehler und Lösungen bietet. Er erfasst Fehlerkontexte, schlägt bewährte Lösungen mit Zuverlässigkeitsbewertungen vor und baut ein gewichtetes Synapsennetzwerk auf, das Fehler, Lösungen und Codemodule über alle Projekte hinweg verbindet.
Reddit-Nutzer testet Selbstlernfunktion von Hermes-KI-Agent und findet kritische Mängel
Ein Reddit-Nutzer testete die Selbstlernfunktion des Hermes KI-Agents, die automatisch Fähigkeiten aus Markdown-Dateien erstellt. Der Nutzer stellte fest, dass es seine eigenen Ergebnisse immer als erfolgreich bewertet, selbst wenn die Ausgabe falsch ist, und manuelle Bearbeitungen überschreibt.
PocketBot: iOS-App nutzt Claude, um deterministische JavaScript-Automationen aus natürlicher Sprache zu generieren
PocketBot ist eine iOS-Mobilanwendungs-Automatisierungs-App, die Claude über AWS Bedrock nutzt, um Anfragen in natürlicher Sprache in eigenständige JavaScript-Skripte umzuwandeln. Das LLM schreibt den Code einmal, dann laufen die deterministischen Skripte nach Zeitplan in einer abgeschotteten Laufzeitumgebung ohne KI-Beteiligung.
MemAware-Benchmark testet KI-Gedächtnis über die Stichwortsuche hinaus
MemAware ist ein Benchmark mit 900 Fragen über 3 Schwierigkeitsgrade, der testet, ob KI-Assistenten mit Gedächtnis relevante Kontexte abrufen können, wenn Anfragen keine Hinweise darauf geben. Ergebnisse zeigen: BM25-Suche erzielte 2,8 % gegenüber 0,8 % ohne Gedächtnis, während Vektorsuche bei domänenübergreifenden Verbindungen auf 0,7 % sinkt.