Qwen 3.6 27B im DeepSWE-Benchmark: 2% Punktzahl, 70 Stunden, 44k durchschnittliche Ausgabetoken

Ein Reddit-Nutzer hat Qwen 3.6 27B auf dem DeepSWE-Benchmark getestet und erreichte eine Punktzahl von 2% (1,79% aufgerundet) – Platz 18 von 20, vor Haiku 4.5 und Minimax M2.7. Der gesamte Lauf dauerte 70 Stunden, mit einer durchschnittlichen Aufgabenzeit von 32 Minuten und durchschnittlich 44k Ausgabetoken pro Aufgabe – überraschenderweise auf Augenhöhe mit dem größeren Qwen 3.6 Plus, trotz des Rufs des 27B-Modells für Ausführlichkeit.

Methodik

• Modell: Qwen 3.6 27B FP8 mit BF16 KV-Cache, Reasoning aktiviert, 262k Kontextfenster, bereitgestellt über VLLM
• Hardware: 1x RTX6000 Pro Blackwell auf RunPod
• Agent-Werkzeug: mini-swe auf Modal-Sandboxes
• 1 Durchlauf pro Aufgabe (statt der offiziellen 4) um Zeit zu sparen; keine Punktzahlspanne
• Kosten basierend auf RunPod-Stundensatz für abgeschlossene Aufgaben
• Orchestrierung: Codex 5.5xhigh überwachte und verwaltete den gesamten Lauf

Wichtige Beobachtungen

Der Autor merkt an, dass die Punktzahl verdächtig nahe an Qwen 3.6 Plus liegt, was Fragen zu den architektonischen Unterschieden aufwirft. Er argumentiert, dass lokale Modelle weiter hinter den führenden Closed-Source-Angeboten zurückfallen: K2.6 ist das beste Open-Source-Modell, aber die meisten können es nicht einmal lokal ausführen. Qwen 3.6 27B wird als "arme Leute SOTA"-Option für den lokalen Betrieb positioniert. Der Trend deutet darauf hin, dass Spitzenleistungen große Skalierung erfordern, was oft zu Closed Source führt, was lokale Inferenz in Bezug auf Wettbewerbsfähigkeit zu einem verlorenen Spiel macht.