Open-Weight-Modelle unter 100 GB können Claude Haiku bei Coding-Benchmarks nicht übertreffen.

Eine aktuelle Analyse von Open-Weight-Sprachmodellen zeigt eine erhebliche Leistungslücke im Vergleich zu Anthropics Claude Haiku bei Coding-Benchmarks. Der Vergleich wurde mit spezifischen Testparametern und Speicheranforderungen durchgeführt.

Benchmark-Methodik

Die Auswertung verglich Modelle anhand von zwei Coding-Benchmarks: LiveBench (Januar 2026) und Arena Code/WebDev. Die Tests wurden gegen Claude Haiku 4.5 mit aktivierten Denkfähigkeiten durchgeführt. Die Modelle wurden entsprechend ihrer Speicheranforderungen für den lokalen Einsatz dargestellt.

Technische Spezifikationen

• Quantisierung: Q4_K_M
• Kontextlänge: 32K
• KV-Cache: q8_0
• VRAM-Schätzung: Berechnet mit dem benutzerdefinierten Rechner des Autors

Wichtige Erkenntnisse

Kein Open-Weight-Modell unter 100GB Speicher kommt der Leistung von Claude Haiku auf einem der Benchmarks nahe. Der nächstbeste Konkurrent ist Minimax M2.5, das etwa 136GB Speicher benötigt und in etwa die Leistung von Haiku auf beiden Benchmarks erreicht.

Die Analyse verdeutlicht die aktuelle Lücke zwischen proprietären und Open-Weight-Modellen in der Kategorie unter 100GB für Coding-Aufgaben. Der Autor äußert Frustration über diese Einschränkung und fordert die Entwicklung kleinerer Modelle, die zumindest die Fähigkeiten von Haiku erreichen könnten.