Omnicoder-9B-Leistungsbewertung: Geschwindigkeit vs. Probleme beim Tool-Aufruf
Technische Übersicht
Omnicoder-9B ist ein auf Codierung spezialisiertes Modell, das von Tesslate entwickelt wurde und auf der Qwen 3.5-Architektur basiert. Es wurde auf Basis von Qwen3.5 9B mit Ausgaben mehrerer Modelle feinabgestimmt, darunter Opus 4.6, GPT 5.4, GPT 5.3 Codex und Gemini 3.1 Pro.
Leistungsmerkmale
Das Modell zeigt starke Leistung auf mittlerer Hardware. Mit 12 GB VRAM berichten Nutzer von einer konsistenten Token-Erzeugung von 15 Token/Sekunde, selbst bei einer Kontextgröße von 100k. Die Prompt-Verarbeitung ist mit etwa 265 Token/Sekunde bemerkenswert schnell. Das Modell läuft, ohne Systeme zum Absturz zu bringen oder Leistungseinbußen zu verursachen.
Einschränkungen und Probleme
Trotz der Geschwindigkeitsvorteile zeigt Omnicoder-9B mehrere Einschränkungen in praktischen Codierungsszenarien:
- Konnte keinen vollständigen Super-Mario-Klon in einer eigenständigen HTML-Datei mit einem One-Shot-Prompt erzeugen
- Erlebte Fehler bei Werkzeugaufrufen mit MCP-Servern, was zu MCP-Fehlern während des Datenabrufs führte
- Probleme bei der Ausführung von Schreib-Werkzeugaufrufen von Claude Code, wobei dies Kompatibilitätsfaktoren betreffen könnte
IDE-Integrationstests
Tests in Entwicklungsumgebungen zeigten gemischte Ergebnisse:
- In LM Studio mit Roo Code: Es kam zu Unterbrechungen, wenn die Token-Größe auf 4k anstieg, was jedoch eher ein Integrationsproblem als ein modellspezifisches zu sein scheint
- Das Modell aktualisierte oder schrieb erfolgreich kleine Skripte mit Token-Größen zwischen 2-3k
- API-Anfragen für Token über 4k schlugen fehl, ohne Fehlermeldungen
- In Claude Code: Die Token-Erzeugung fühlte sich langsamer an im Vergleich zu Roo Code, und das Modell konnte Schreib-Werkzeugaufrufe nach der Ausgabeerzeugung nicht ausführen
Der Nutzer merkt an, dass Roo Code die effektivste Erweiterung für lokale LLMs unter Continue und anderen getesteten Optionen war.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Tendr Skill: Deterministische CLI-Operationen für die Agentenspeicherverwaltung
Tendr Skill ist eine Agent Skill, die das Denken von der Ausführung trennt, um strukturiertes Langzeitgedächtnis zu ermöglichen. Sie erlaubt es Agenten zu entscheiden, was geändert werden muss, während ein CLI-Tool die strukturellen Operationen deterministisch ausführt. Sie unterstützt [[wikilinks]] und explizite semantische Hierarchien über Dateien hinweg.
Mengram AI: Automatisches Speicher-Tool für Claude-Code-Sitzungen
Mengram AI erhält automatisch den Kontext zwischen Claude Code-Sitzungen aufrecht, indem es kognitive Profile lädt, relevante vergangene Kontexte in Prompts einfügt und neues Wissen speichert. Es speichert semantisches, episodisches und prozedurales Gedächtnis, das sich basierend auf Fehlern weiterentwickelt.
Skales: Ein Desktop-AI-Agent, der sich ohne Docker mit Ollama verbindet
Skales ist ein Desktop-AI-Agent, der sich lokal mit Ollama verbindet und keine Docker-Einrichtung erfordert. Er bietet Funktionen wie E-Mail-Verwaltung über Gmail IMAP, Browser-Automatisierung und Sprach-Chat mit Whisper über Groq.
LM Studio-Erweiterungen ermöglichen Web-Bildanalyse für vision-fähige LLMs.
Ein Entwickler hat Plugins für LM Studio erstellt, die visionfähigen LLMs ermöglichen, Bilder aus dem Web abzurufen und zu analysieren, mit automatischer Bildverarbeitung und Tool-Verkettung. Die Plugins funktionieren mit Modellen wie Qwen 3.5 9b/27b und umfassen aktualisierte Duck-Duck-Go- und Website-Besuch-Funktionalität.