Testen lokaler LLMs für autonome Codegenerierung: Qualitäts- vs. Geschwindigkeits-Benchmark

Ein Entwickler verbrachte Monate damit, einen KI-Agenten zu bauen, der mit lokalen LLMs autonom Go-Code schreibt, speziell zur Generierung von Log-Parsern für SIEM-Pipelines. Die größte Herausforderung war die Bewertung: Wie lässt sich objektiv messen, ob ein Modell für autonome Programmieraufgaben tatsächlich nützlich ist?
Benchmark-Testumgebung
Die Testumgebung funktioniert wie folgt:
- Agenten generieren echte Go-Parser aus Logformat-Beschreibungen.
- Der generierte Go-Code wird kompiliert.
- Extrahierte Felder und Typen werden mit erwarteten Schemata abgeglichen.
- Die Parsing-Qualität wird anhand erwarteter Schemata gemessen.
- Durchsatz und Geschwindigkeit werden über längere Läufe verfolgt.
Erste öffentliche Veröffentlichung
Der Autor veröffentlichte die erste öffentliche Version des Benchmarks und der Methodik unter dem folgenden Link. Der Beitrag diskutiert Ergebnisse angesichts der aktuellen Veröffentlichungsrate von Open-Weight-Modellen. Der Autor bittet auch um Feedback und Vorschläge, welches Modell als nächstes getestet werden soll.
Lesen Sie den vollständigen Blogbeitrag für detaillierte Ergebnisse und Methodik: Testing Local LLMs in Practice: Code Generation, Quality vs. Speed
Dies ist eine praktische Ressource für Entwickler, die KI-Programmieragenten bauen und lokale LLMs für Code-Generierungsaufgaben auswählen.
📖 Lesen Sie die vollständige Quelle: r/LocalLLaMA
👀 Siehe auch

Ausführen von OpenClaw und Codex CLI nativ auf Android über AnyClaw APK
Ein Entwickler hat OpenClaw und Codex CLI in eine Android-APK namens AnyClaw verpackt, wodurch das Gateway und die Control-UI lokal auf ARM64-Android-Geräten ab Version 7.0 ohne Root-Zugriff laufen können. Das Projekt erforderte das Kompilieren von Abhängigkeiten aus dem Quellcode und das Patchen mehrerer Komponenten, um Android-spezifische Einschränkungen zu bewältigen.
Claude Code Skill Tax: 2.596 installierte Skills, 40 genutzt, 91 $/Monat verschwendet
Jede installierte Claude Code-Fähigkeit wird in den System-Prompt jeder Sitzung geladen. Ein Benutzer maß 102.651 Token pro Sitzung, von denen 98,6 % nie genutzt wurden – Kosten von etwa 91 $/Monat. Ein Open-Source-Tool, skill-tax, prüft die Nutzung und Kosten.

PageAgent: Browser-AI-Agent, der innerhalb von Webseiten mit Ollama-Unterstützung läuft
PageAgent ist eine JavaScript-Bibliothek, die KI-Agenten direkt innerhalb von Webseiten ausführt und dabei den Live-DOM als Text liest, anstatt Screenshots zu verwenden. Es funktioniert mit jedem OpenAI-kompatiblen Endpunkt, einschließlich Ollama, und ermöglicht lokale LLM-Aufrufe direkt aus dem Browser.

"Entkrallt: Ein gemeinschaftlich getriebener OpenClaw-Malware-Scanner"
Declawed ist ein neuer Malware-Scanner für OpenClaw SKILL.md, der sich auf die Erkennung willkürlicher Prompt-Injektionen, bösartiger Inhalte und Informationsdiebstahl in ClawHub-Fähigkeiten konzentriert.