10 KI-Agenten getestet auf Qwen3.5-4B: Pi erledigt 5 Aufgaben in 1m36s, OpenCode benötigt 17m43s

✍️ OpenClawRadar📅 Veröffentlicht: 21. Oktober 2026🔗 Source
Ad

Ein Entwickler hat 10 KI-Coding-Agenten auf Qwen3.5-4B einem Benchmark unterzogen. Jeder lief headless mit automatischer Bestätigung und, wo möglich, deaktivierter Telemetrie. Jeder Agent erhielt einen eigenen isolierten Einstellungsordner, eine frische Fixture-Kopie und 10 Minuten pro Aufgabe. Die komplette Suite lief über adapters/<agent>.sh mit automatisierten Prüfungen aus check/check.sh.

Die 5 Aufgaben

  • T1 — Einen DB-Port aus YAML auslesen (nicht mit dem Cache-Port verwechseln) und in eine Datei schreiben.
  • T2 — Ein Skript stats.py schreiben, ausführen und die Ausgabe speichern.
  • T3 — Einen Bug in slugify beheben, damit die Tests bestehen; versteckte Beispiele decken Overfitting auf.
  • T4 — ERROR-Zeilen in drei Logdateien zählen und den häufigsten Fehler finden.
  • T5 — Eine Funktion in drei Dateien umbenennen, ohne die Programmausgabe zu ändern.
Ad

Ergebnisse (Gesamtzeit, bestandene Aufgaben)

  • Pi v1.3.0 — 1m36s, 5/5. T1 10s, T2 14s, T3 24s, T4 19s, T5 29s. Muss kaum über Tool-Formate nachdenken.
  • goose v1.55.0 — 2m51s, 5/5. Konsistent, kein Herumtasten.
  • Crush v0.98.1 — 3m31s, 5/5. Etwas ausführlicheres Reasoning.
  • Atomic Agent v0.6.9 — 4m38s, 5/5. Langsamer bei T3 (77s) und T5 (104s) wegen Multi-File-Änderungen, aber keine fehlerhaften Tool-Aufrufe oder falschen Abschlüsse.
  • Cline v3.0.73 — 5m56s, 5/5. Hing bei T2 über zwei Minuten, bevor es korrekt schrieb.
  • OpenClaw v2026.10.5 — 5m44s, 5/5. Lief im --local-model-lean-Modus; langsamer bei T3 (107s) und T4 (116s).
  • OpenCode v1.19.3 — 17m43s. Alles erledigt, aber durchschnittlich fast 4 Minuten pro Aufgabe; das Modell überdachte einfache Schritte.

Sieben Agenten sind mit Zeiten und bestandenen Aufgaben dokumentiert. Der Quellbeitrag listet 10, aber nur die obersten sieben Einträge enthalten Benchmark-Tabellen im Auszug. Rohe Zeitmessungen pro Aufgabe und die vollständigen Adapter-/Check-Skripte sind im Original-Thread zu finden.

Fazit für alle, die kleine lokale Modelle einsetzen: Die Normalisierung von Tool-Call-Formaten ist hier wichtiger als die reine Modellgröße. Agenten, die dem Modell ein einfaches, starres Tool-Schema vorgeben (Pi, goose), schafften dieselben 5/5 in Minuten, während allgemeinere Schleifen Zeit mit Formatierung und Überdenken verbrannten.

📖 Read the full source: r/openclaw

Ad

👀 Siehe auch

NYC-Kliniken beenden Palantir-Vertrag, während Expansion in Großbritannien unter die Lupe genommen wird
Nachrichten

NYC-Kliniken beenden Palantir-Vertrag, während Expansion in Großbritannien unter die Lupe genommen wird

Das öffentliche Krankenhaussystem von New York City wird seinen 4-Millionen-Dollar-Vertrag mit Palantir im Oktober nicht verlängern und auf interne Systeme umstellen. Gleichzeitig sieht sich Palantir mit Datenschutzbedenken hinsichtlich seines 330-Millionen-Pfund-Abkommens mit dem NHS und einem neuen Vertrag mit der britischen Finanzaufsicht konfrontiert.

OpenClawRadar
🦀
Nachrichten

Claude Code v2.1.293: Haiku 5.5 als Standard, 1 Mio. Kontext, 0,10 $/Mio. Tokens

Claude Code v2.1.293 liefert Claude Haiku 5.5 als Standard-Haiku-Modell mit 1M-Kontext für 0,10 $/0,50 $ pro Mtok sowie eine lange Liste von Bugfixes für Subagenten, Remote Control und MCP-Speicherlecks.

OpenClawRadar
AI-Friedhof: 100 eingestellte & übernommene KI-Tools erfasst – allein 88 im Jahr 2026
Nachrichten

AI-Friedhof: 100 eingestellte & übernommene KI-Tools erfasst – allein 88 im Jahr 2026

ToolDirectory.ai's AI Graveyard verzeichnet 100 eingestellte oder übernommene KI-Produkte, mit 88 Todesfällen im Jahr 2026. Die Kategorien umfassen Entwickler-Tools, KI-Agenten, Kundensupport und mehr, wobei viele Übernahmen in größere Plattformen wie Salesforce integriert wurden.

OpenClawRadar
Claude-Code v2.1.38 Veröffentlichung: Wichtige Fehlerbehebungen und Verbesserungen
Nachrichten

Claude-Code v2.1.38 Veröffentlichung: Wichtige Fehlerbehebungen und Verbesserungen

Die Veröffentlichung von Claude-Code v2.1.38 konzentriert sich darauf, mehrere Probleme aus früheren Versionen zu beheben und die Funktionalitäten zu verbessern, insbesondere für Entwickler, die dieses KI-Coding-Tool in VS Code integrieren.

OpenClawRadar