Benchmark-Ergebnisse für kleine lokale und OpenRouter-Modelle bei agentischer Text-to-SQL-Aufgabe
Ein Entwickler hat Benchmark-Ergebnisse für kleine lokale und OpenRouter-Modelle bei einer agentenbasierten Text-zu-SQL-Aufgabe veröffentlicht. Der Benchmark nimmt englische Abfragen wie "Zeige Bestellpositionen, Umsatz, verkaufte Einheiten, Umsatz pro Einheit (Gesamtumsatz ÷ Gesamtverkaufte Einheiten), durchschnittlichen Listenpreis pro Produkt in der Unterkategorie, Bruttogewinn und Gewinnspanne in Prozent für jede Produktunterkategorie" und wandelt sie in SQL um, das gegen Datenbanktabellen getestet wird.
Benchmark-Details
Der Agent kann Abfrageergebnisse sehen und SQL zur Behebung von Problemen anpassen, mit einer Begrenzung der Debugging-Runden. Der Benchmark ist bewusst kurz mit 25 Fragen und läuft für die meisten Modelle in deutlich weniger als 5 Minuten, was ihn praktisch für das Testen verschiedener Konfigurationen macht. Er ist so konzipiert, dass er hart genug ist, um die besten Modelle von anderen zu unterscheiden.
Wichtige Erkenntnisse
- Die besten Open-Modelle waren kimi-k2.5, Qwen 3.5 397B-A17B und Qwen 3.5 27B
- NVIDIA Nemotron-Cascade-2-30B-A3B übertrifft Qwen 3.5-35B-A3B und entspricht Codex 5.3
- Mimo v2 Flash wurde als "ein Juwel von einem Modell" beschrieben
Selbstgehostete Option
Der Benchmark enthält jetzt die Möglichkeit, ihn selbst gegen Ihren eigenen Server mit der WASM-Version von Llama.cpp auszuführen. Der Entwickler sucht Feedback zu Änderungen für Version 2 und möchte sehen, welche Ergebnisse andere mit verschiedenen Konfigurationen erzielen.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Lokale Sprachsteuerungseinrichtung für KI-Agenten auf Apple Silicon
Einrichtungsverfahren für lokale Sprachsteuerung von KI-Agenten mit Parakeet STT und Kokoro TTS auf Apple Silicon für schnelle und cloud-unabhängige Interaktionen.
Agents Elements: Ein macOS-Dashboard für Claude Code & Codex Installationen
Eine native macOS-App mit SwiftUI, die ~/.claude und ~/.codex scannt und installierte Skills, Subagents, Befehle, Plugins, MCP-Server, Hooks und Sitzungsstatus mit Token-Verbrauch anzeigt.
Orion: Umgehung von CoreML zur direkten Ausführung und Schulung von LLMs auf der Apple Neural Engine
Orion ist ein Open-Source-Objective-C-System, das Apples CoreML umgeht, um LLMs direkt auf der Apple Neural Engine (ANE) auszuführen und zu trainieren. Dabei werden 170+ Token/s für GPT-2 124M Decode erreicht und stabiles mehrstufiges Training an einem 110-Millionen-Parameter-Transformer ermöglicht.
120 Prompt Patterns getestet: 8, die bei Claude Code tatsächlich funktionieren
Ein 3-monatiger empirischer Test von 120 Prompt-Mustern für Claude Code ergibt 8 umsetzbare Befehle und 5 Validierungs-Prompts. Schlüsselmuster: L99 (reduziert Absicherungen), /ghost (entfernt KI-Stimme), OODA (strukturierte Argumentation), ULTRATHINK (tiefgehendes Denken), HARDMODE (Einschränkungs-Debugging).