Qwen2-0.5B feinabgestimmt für lokale Aufgabenautomatisierung mit llama.cpp
Ein Entwickler hat Qwen2-0.5B für die Aufgabenautomatisierung feinabgestimmt und ein Modell erstellt, das vollständig lokal auf der CPU läuft, ohne GPU oder Cloud-APIs zu benötigen. Das Projekt mit dem Namen ACE ist auf GitHub verfügbar.
Was es tut
- Nimmt Aufgaben in natürlicher Sprache entgegen (z.B. "Kopiere Protokolle zur Sicherung")
- Erkennt den Aufgabentyp: atomar, wiederholend oder Klärungsbedarf
- Generiert Ausführungspläne bestehend aus CLI-Befehlen und Hotkeys
- Läuft vollständig lokal auf der CPU (keine GPU, keine Cloud-APIs)
Technische Details
- Basismodell: Qwen2-0.5B
- Training: LoRA-Feinabstimmung auf etwa 1000 benutzerdefinierten Aufgabenbeispielen
- Quantisierung: GGUF Q4_K_M-Format (300 MB Dateigröße)
- Inferenz: llama.cpp
- Inferenzzeit: 3-10 Sekunden auf i3/i5-Prozessoren
Hauptherausforderungen während des Trainings
- Datenqualität: Datensatz musste 2-3 Mal aufgrund von unbrauchbaren Beispielen neu generiert werden
- Überanpassung: Mehrere Iterationen nötig, um den Validierungsverlust stabil zu bekommen
- EOS-Token-Verarbeitung: Modell hörte nicht auf zu generieren, bis die Tokenizer-Konfiguration behoben wurde
- GGUF-Konvertierung: Erforderte BF16-Datentyp + imatrix-Quantisierung für stabile Ausgaben
Einschränkungen (v0.1)
- Benötigt vollständige Dateipfade (noch keine intelligente Dateisuche)
- Nur CPU-Inferenz (langsamer auf älterer Hardware)
- Grundlegende Ausführung (kein visuelles Verständnis)
Leistungsbenchmarks
- i5 (2018+) mit SSD: 3-5 Sekunden
- i3 (2015+) mit SSD: 5-10 Sekunden
- Ältere Hardware (Pentium + HDD): 30-90 Sekunden
Der Entwickler sucht Feedback zur Leistung auf verschiedenen Hardware-Konfigurationen, Grenzfällen, die das Modell zum Scheitern bringen, und Feature-Anfragen für v0.2.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Ausnutzen des verborgenen Agentursignals (Â) von LLMs für besseres Tool Calling
Ein Entwickler entdeckte, dass LLMs eine linear trennbare Richtung im verborgenen Zustand namens  haben, die Werkzeugaufrufe mit einem AUC > 0,94 vorhersagt. Die Nutzung dieses Signals, um Werkzeugaufrufe zu erzwingen, verbesserte die Leistung von Qwen3-1.7B von 26,7 % auf 85 % (+58 % Gewinn) und reduzierte Fehler ohne Werkzeugaufruf von 43 % auf 2,6 %.
Aufbau eines agentischen RAG für Obsidian mit Claude und einer Evaluierungsumgebung zur Erkennung von Halluzinationen
Ein Entwickler baute ein agentisches RAG-System über einem Obsidian-Vault, damit Claude Fragen aus Ingenieurbüchern beantworten kann, und erstellte dann ein Evaluierungs-Tool mit Claude Sonnet als Richter, um zu erkennen, wann der Agent zuversichtlich falsch lag. Rubrik-Iterationen verbesserten die Übereinstimmung zwischen Richter und Mensch von 39 % auf 94 %.
Gründeroperationen in Claude: 19 wiederverwendbare Fähigkeiten für Startups in der Frühphase
Ein Gründer, der sein erstes Startup verkauft hat, hat 19 Claude-kompatible Skill-Prompts für Funktionen wie Positionierung, Preisgestaltung, Akquise und Texterstellung veröffentlicht – basierend auf seinen eigenen SOPs und Notion-Workflows.
MCP-Server ermöglicht es Claude, zur Laufzeit benutzerdefinierte Tools zu erstellen und auszuführen
Ein Entwickler hat einen MCP-Server gebaut, bei dem Claude neue Tools erstellen, aktualisieren und ausführen kann, ohne dass eine erneute Bereitstellung erforderlich ist. Das System verwendet fünf Kern-Tools und führt benutzerdefinierten JavaScript/TypeScript-Code in einer Deno-Sandbox mit etwa 50 ms Kaltstart aus.