10 KI-Agenten getestet auf Qwen3.5-4B: Pi erledigt 5 Aufgaben in 1m36s, OpenCode benötigt 17m43s

Ein Entwickler hat 10 KI-Coding-Agenten auf Qwen3.5-4B einem Benchmark unterzogen. Jeder lief headless mit automatischer Bestätigung und, wo möglich, deaktivierter Telemetrie. Jeder Agent erhielt einen eigenen isolierten Einstellungsordner, eine frische Fixture-Kopie und 10 Minuten pro Aufgabe. Die komplette Suite lief über adapters/<agent>.sh mit automatisierten Prüfungen aus check/check.sh.

Die 5 Aufgaben

• T1 — Einen DB-Port aus YAML auslesen (nicht mit dem Cache-Port verwechseln) und in eine Datei schreiben.
• T2 — Ein Skript stats.py schreiben, ausführen und die Ausgabe speichern.
• T3 — Einen Bug in slugify beheben, damit die Tests bestehen; versteckte Beispiele decken Overfitting auf.
• T4 — ERROR-Zeilen in drei Logdateien zählen und den häufigsten Fehler finden.
• T5 — Eine Funktion in drei Dateien umbenennen, ohne die Programmausgabe zu ändern.

Ergebnisse (Gesamtzeit, bestandene Aufgaben)

• Pi v1.3.0 — 1m36s, 5/5. T1 10s, T2 14s, T3 24s, T4 19s, T5 29s. Muss kaum über Tool-Formate nachdenken.
• goose v1.55.0 — 2m51s, 5/5. Konsistent, kein Herumtasten.
• Crush v0.98.1 — 3m31s, 5/5. Etwas ausführlicheres Reasoning.
• Atomic Agent v0.6.9 — 4m38s, 5/5. Langsamer bei T3 (77s) und T5 (104s) wegen Multi-File-Änderungen, aber keine fehlerhaften Tool-Aufrufe oder falschen Abschlüsse.
• Cline v3.0.73 — 5m56s, 5/5. Hing bei T2 über zwei Minuten, bevor es korrekt schrieb.
• OpenClaw v2026.10.5 — 5m44s, 5/5. Lief im --local-model-lean-Modus; langsamer bei T3 (107s) und T4 (116s).
• OpenCode v1.19.3 — 17m43s. Alles erledigt, aber durchschnittlich fast 4 Minuten pro Aufgabe; das Modell überdachte einfache Schritte.

Sieben Agenten sind mit Zeiten und bestandenen Aufgaben dokumentiert. Der Quellbeitrag listet 10, aber nur die obersten sieben Einträge enthalten Benchmark-Tabellen im Auszug. Rohe Zeitmessungen pro Aufgabe und die vollständigen Adapter-/Check-Skripte sind im Original-Thread zu finden.

Fazit für alle, die kleine lokale Modelle einsetzen: Die Normalisierung von Tool-Call-Formaten ist hier wichtiger als die reine Modellgröße. Agenten, die dem Modell ein einfaches, starres Tool-Schema vorgeben (Pi, goose), schafften dieselben 5/5 in Minuten, während allgemeinere Schleifen Zeit mit Formatierung und Überdenken verbrannten.