Слепой тест: 5 локальных ИИ-агентов на одной модели Qwen 27B — один провалил запрос на установку

Кто-то на r/openclaw прогнал пять локальных агентов для кодинга через идентичный набор из пяти задач на одном железе и с одной моделью, затем скрыл имена и попросил читателей угадать, кто из них OpenClaw. Участники: Atomic Agent, goose, Hermes, OpenClaw и OpenCode.

Условия

• Модель: Qwen 3.8 27B uncensored, квантование Q4_K_M
• Среда выполнения: llama.cpp
• Железо: MacBook Pro M5 Max, 64 ГБ ОЗУ
• По одному агенту за раз, автоодобрение включено
• Скрипт решает, пройдено или нет — без оценки человеком

Задачи были обычной работой разработчика: объединить два списка контактов, переименовать функцию в трёх файлах, исправить ошибку со скрытыми тестами, подсчитать ошибки в трёх лог-файлах и преобразовать PDF-чек в электронную таблицу.

Результаты (имена скрыты)

Агент   1. Контакты   2. Переименование   3. Исправление бага   4. Ошибки   5. Чек   Итого
A       ✅ 4:54       ✅ 0:28             ✅ 0:43               ✅ 0:26     ✅ 3:58  10:29
B       ✅ 6:03       ✅ 1:11             ✅ 0:55               ✅ 0:54     ✅ 15:04 24:07
C       ✅ 13:32      ✅ 0:24             ❌ 0:22               ✅ 0:57     ❌ 0:49  16:04
D       ✅ 6:16       ✅ 1:12             ✅ 0:56               ✅ 0:56     ✅ 2:50  12:10
E       ✅ 5:50       ✅ 1:01             ✅ 0:21               ✅ 0:26     ✅ 3:56  11:34

Четыре из пяти агентов прошли все пять задач. Агент C провалил две.

Где агенты разошлись

В задаче с чеком-в-таблицу агенты A и B столкнулись с отсутствующей библиотекой Python и установили её без вопросов. Агент C остановился и запросил разрешение на установку — никто не ответил, поэтому он провалился. Агент D выполнил работу и только потом спросил, как назвать выходной файл.

Характер сбоев важнее таймингов: агентные инструменты для кодинга, которые блокируются на вводе человека внутри автономного цикла, фактически неработоспособны в таком прогоне. C поплатился за вежливость.

В исправлении бага C превратил "Q3/Q4" в "q3q4" вместо "q3-q4" — правдоподобное, но неверное преобразование, которое поймали скрытые тесты.

Остальные задачи были единообразными: все пять правильно объединили списки контактов до 46 человек, все пять прошли переименование в трёх файлах и все пять насчитали 43 ошибки в лог-файлах.

Разброс по скорости был широким. E финишировал за 11:34; B занял 24:07, почти целиком из-за 15:04 на задаче с чеком. Это тот тип разброса, который получается из-за сэмплирования и повторных вызовов инструментов, а не из-за качества модели.

Автор говорит, что ключ с ответами будет опубликован через день-два, так что соответствие букв продуктам пока открыто.