Qwen2-0.5B feinabgestimmt für lokale Aufgabenautomatisierung mit llama.cpp

✍️ OpenClawRadar📅 Veröffentlicht: 22. März 2026🔗 Source
Qwen2-0.5B feinabgestimmt für lokale Aufgabenautomatisierung mit llama.cpp
Ad

Ein Entwickler hat Qwen2-0.5B für die Aufgabenautomatisierung feinabgestimmt und ein Modell erstellt, das vollständig lokal auf der CPU läuft, ohne GPU oder Cloud-APIs zu benötigen. Das Projekt mit dem Namen ACE ist auf GitHub verfügbar.

Was es tut

  • Nimmt Aufgaben in natürlicher Sprache entgegen (z.B. "Kopiere Protokolle zur Sicherung")
  • Erkennt den Aufgabentyp: atomar, wiederholend oder Klärungsbedarf
  • Generiert Ausführungspläne bestehend aus CLI-Befehlen und Hotkeys
  • Läuft vollständig lokal auf der CPU (keine GPU, keine Cloud-APIs)

Technische Details

  • Basismodell: Qwen2-0.5B
  • Training: LoRA-Feinabstimmung auf etwa 1000 benutzerdefinierten Aufgabenbeispielen
  • Quantisierung: GGUF Q4_K_M-Format (300 MB Dateigröße)
  • Inferenz: llama.cpp
  • Inferenzzeit: 3-10 Sekunden auf i3/i5-Prozessoren
Ad

Hauptherausforderungen während des Trainings

  • Datenqualität: Datensatz musste 2-3 Mal aufgrund von unbrauchbaren Beispielen neu generiert werden
  • Überanpassung: Mehrere Iterationen nötig, um den Validierungsverlust stabil zu bekommen
  • EOS-Token-Verarbeitung: Modell hörte nicht auf zu generieren, bis die Tokenizer-Konfiguration behoben wurde
  • GGUF-Konvertierung: Erforderte BF16-Datentyp + imatrix-Quantisierung für stabile Ausgaben

Einschränkungen (v0.1)

  • Benötigt vollständige Dateipfade (noch keine intelligente Dateisuche)
  • Nur CPU-Inferenz (langsamer auf älterer Hardware)
  • Grundlegende Ausführung (kein visuelles Verständnis)

Leistungsbenchmarks

  • i5 (2018+) mit SSD: 3-5 Sekunden
  • i3 (2015+) mit SSD: 5-10 Sekunden
  • Ältere Hardware (Pentium + HDD): 30-90 Sekunden

Der Entwickler sucht Feedback zur Leistung auf verschiedenen Hardware-Konfigurationen, Grenzfällen, die das Modell zum Scheitern bringen, und Feature-Anfragen für v0.2.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Siehe auch

Akemon: Veröffentlichen und Mieten Sie KI-Codierungs-Agenten direkt von Ihrem Laptop aus
Werkzeuge

Akemon: Veröffentlichen und Mieten Sie KI-Codierungs-Agenten direkt von Ihrem Laptop aus

Akemon ist ein Tool, das Entwicklern ermöglicht, ihre KI-Codierungsagenten mit einem Befehl zu veröffentlichen und die Agenten anderer mit einem weiteren Befehl einzustellen. Es funktioniert direkt vom Laptop aus über einen Relay-Tunnel, ohne dass Server benötigt werden. Es ist protokollunabhängig und unterstützt Agenten von Claude Code, Codex, Gemini, OpenCode, Cursor und Windsurf.

OpenClawRadar
cq: Ein lokales Wissensaustauschsystem für KI-Codierungsagenten
Werkzeuge

cq: Ein lokales Wissensaustauschsystem für KI-Codierungsagenten

cq von Mozilla.ai ist ein Open-Source-Tool, das KI-Code-Agenten ermöglicht, 'Wissenseinheiten' über häufige Fallstricke über einen lokalen SQLite-Speicher zu teilen, mit optionaler Team-Freigabe über eine Docker-API. Es wird als Claude Code-Plugin oder OpenCode MCP-Server installiert.

OpenClawRadar
Claude Octopus v8.48: Multi-KI-Orchestrierungs-Plugin für Entwicklungs-Workflows
Werkzeuge

Claude Octopus v8.48: Multi-KI-Orchestrierungs-Plugin für Entwicklungs-Workflows

Claude Octopus v8.48 ist ein Open-Source-Plugin, das die KI-Modelle Claude, Codex und Gemini parallel mit unterschiedlichen Rollen über die Entwicklungsphasen hinweg orchestriert. Es beinhaltet eine 75%-Konsensschwelle zwischen den Phasen, frische Kontextfenster für komplexe Aufgaben und spezifische Befehle wie /octo:embrace für die vollständige Lebenszyklusentwicklung.

OpenClawRadar
Claude Code Voice-Modus: Freihändige KI-Gespräche für Entwickler
Werkzeuge

Claude Code Voice-Modus: Freihändige KI-Gespräche für Entwickler

Claudes Voice-Modus-Beta ermöglicht es Ihnen, mit der KI zu sprechen und Antworten zu hören, mit Freisprech- und Push-to-Talk-Optionen. Es funktioniert im Web und auf Mobilgeräten, zählt zu den regulären Nutzungslimits und ermöglicht das Wechseln zwischen Text und Sprache im selben Gespräch.

OpenClawRadar