Qwen2-0.5B feinabgestimmt für lokale Aufgabenautomatisierung mit llama.cpp
Ein Entwickler hat Qwen2-0.5B für die Aufgabenautomatisierung feinabgestimmt und ein Modell erstellt, das vollständig lokal auf der CPU läuft, ohne GPU oder Cloud-APIs zu benötigen. Das Projekt mit dem Namen ACE ist auf GitHub verfügbar.
Was es tut
- Nimmt Aufgaben in natürlicher Sprache entgegen (z.B. "Kopiere Protokolle zur Sicherung")
- Erkennt den Aufgabentyp: atomar, wiederholend oder Klärungsbedarf
- Generiert Ausführungspläne bestehend aus CLI-Befehlen und Hotkeys
- Läuft vollständig lokal auf der CPU (keine GPU, keine Cloud-APIs)
Technische Details
- Basismodell: Qwen2-0.5B
- Training: LoRA-Feinabstimmung auf etwa 1000 benutzerdefinierten Aufgabenbeispielen
- Quantisierung: GGUF Q4_K_M-Format (300 MB Dateigröße)
- Inferenz: llama.cpp
- Inferenzzeit: 3-10 Sekunden auf i3/i5-Prozessoren
Hauptherausforderungen während des Trainings
- Datenqualität: Datensatz musste 2-3 Mal aufgrund von unbrauchbaren Beispielen neu generiert werden
- Überanpassung: Mehrere Iterationen nötig, um den Validierungsverlust stabil zu bekommen
- EOS-Token-Verarbeitung: Modell hörte nicht auf zu generieren, bis die Tokenizer-Konfiguration behoben wurde
- GGUF-Konvertierung: Erforderte BF16-Datentyp + imatrix-Quantisierung für stabile Ausgaben
Einschränkungen (v0.1)
- Benötigt vollständige Dateipfade (noch keine intelligente Dateisuche)
- Nur CPU-Inferenz (langsamer auf älterer Hardware)
- Grundlegende Ausführung (kein visuelles Verständnis)
Leistungsbenchmarks
- i5 (2018+) mit SSD: 3-5 Sekunden
- i3 (2015+) mit SSD: 5-10 Sekunden
- Ältere Hardware (Pentium + HDD): 30-90 Sekunden
Der Entwickler sucht Feedback zur Leistung auf verschiedenen Hardware-Konfigurationen, Grenzfällen, die das Modell zum Scheitern bringen, und Feature-Anfragen für v0.2.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Akemon: Veröffentlichen und Mieten Sie KI-Codierungs-Agenten direkt von Ihrem Laptop aus
Akemon ist ein Tool, das Entwicklern ermöglicht, ihre KI-Codierungsagenten mit einem Befehl zu veröffentlichen und die Agenten anderer mit einem weiteren Befehl einzustellen. Es funktioniert direkt vom Laptop aus über einen Relay-Tunnel, ohne dass Server benötigt werden. Es ist protokollunabhängig und unterstützt Agenten von Claude Code, Codex, Gemini, OpenCode, Cursor und Windsurf.
cq: Ein lokales Wissensaustauschsystem für KI-Codierungsagenten
cq von Mozilla.ai ist ein Open-Source-Tool, das KI-Code-Agenten ermöglicht, 'Wissenseinheiten' über häufige Fallstricke über einen lokalen SQLite-Speicher zu teilen, mit optionaler Team-Freigabe über eine Docker-API. Es wird als Claude Code-Plugin oder OpenCode MCP-Server installiert.
Claude Octopus v8.48: Multi-KI-Orchestrierungs-Plugin für Entwicklungs-Workflows
Claude Octopus v8.48 ist ein Open-Source-Plugin, das die KI-Modelle Claude, Codex und Gemini parallel mit unterschiedlichen Rollen über die Entwicklungsphasen hinweg orchestriert. Es beinhaltet eine 75%-Konsensschwelle zwischen den Phasen, frische Kontextfenster für komplexe Aufgaben und spezifische Befehle wie /octo:embrace für die vollständige Lebenszyklusentwicklung.
Claude Code Voice-Modus: Freihändige KI-Gespräche für Entwickler
Claudes Voice-Modus-Beta ermöglicht es Ihnen, mit der KI zu sprechen und Antworten zu hören, mit Freisprech- und Push-to-Talk-Optionen. Es funktioniert im Web und auf Mobilgeräten, zählt zu den regulären Nutzungslimits und ermöglicht das Wechseln zwischen Text und Sprache im selben Gespräch.