Blindtest: 5 lokale KI-Agenten, dasselbe Qwen-27B-Modell – einer scheiterte an einer Installationsaufforderung

Jemand auf r/openclaw ließ fünf lokale Coding-Agenten eine identische Suite aus fünf Aufgaben auf derselben Hardware und demselben Modell durchlaufen, versteckte dann die Namen und bat die Leser zu raten, welcher OpenClaw ist. Die Kandidaten: Atomic Agent, goose, Hermes, OpenClaw und OpenCode.

Der Aufbau

• Modell: Qwen 3.8 27B uncensored, Q4_K_M-Quantisierung
• Laufzeit: llama.cpp
• Hardware: M5 Max MacBook Pro, 64 GB RAM
• Ein Agent gleichzeitig, Auto-Approve an
• Ein Skript entscheidet über Bestehen/Fehlschlagen – keine menschliche Bewertung

Die Aufgaben waren gewöhnliche Entwicklerarbeit: zwei Kontaktlisten zusammenführen, eine Funktion über drei Dateien hinweg umbenennen, einen Bug mit versteckten Tests beheben, Fehler über drei Protokolldateien zählen und einen Kassenbon-PDF in eine Tabellenkalkulation umwandeln.

Ergebnisse (Namen verborgen)

Agent   1. Kontakte   2. Umbenennen   3. Bugfix   4. Fehler   5. Kassenbon   Gesamt
A       ✅ 4:54        ✅ 0:28          ✅ 0:43      ✅ 0:26      ✅ 3:58        10:29
B       ✅ 6:03        ✅ 1:11          ✅ 0:55      ✅ 0:54      ✅ 15:04       24:07
C       ✅ 13:32       ✅ 0:24          ❌ 0:22      ✅ 0:57      ❌ 0:49        16:04
D       ✅ 6:16        ✅ 1:12          ✅ 0:56      ✅ 0:56      ✅ 2:50        12:10
E       ✅ 5:50        ✅ 1:01          ✅ 0:21      ✅ 0:26      ✅ 3:56        11:34

Vier von fünf Agenten bestanden alle fünf Aufgaben. Agent C scheiterte zweimal.

Wo die Agenten divergierten

Bei der Kassenbon-zu-Tabellenkalkulation-Aufgabe stießen die Agenten A und B auf eine fehlende Python-Bibliothek und installierten sie ohne Nachfrage. Agent C hielt an und bat um Erlaubnis zur Installation – niemand antwortete, also scheiterte er. Agent D erledigte die Aufgabe und fragte erst danach, wie die Ausgabe heißen solle.

Das Fehlermuster ist wichtiger als die Zeiten: Agentische Coding-Tools, die in einer unbeaufsichtigten Schleife auf menschliche Eingaben warten, sind in einem solchen Lauf praktisch funktionsunfähig. C zahlte für seine Höflichkeit.

Beim Bugfix verwandelte C "Q3/Q4" in "q3q4" statt in "q3-q4" – eine plausibel aussehende, aber falsche Transformation, die von den versteckten Tests entdeckt wurde.

Die anderen Aufgaben verliefen einheitlich: Alle fünf führten die Kontaktlisten korrekt zu 46 Personen zusammen, alle fünf bestanden die Umbenennung über drei Dateien, und alle fünf zählten 43 Fehler in den Protokolldateien.

Die Geschwindigkeitsspanne war groß. E war in 11:34 fertig; B brauchte 24:07, fast ausschließlich wegen 15:04 bei der Kassenbon-Aufgabe. Das ist die Art von Varianz, die man von Sampling und Tool-Call-Wiederholungen bekommt, nicht von Modellqualität.

Der Autor sagt, die Antworten werden in ein oder zwei Tagen veröffentlicht, daher ist die Zuordnung der Buchstaben zu den Produkten noch offen.