10 AI-агентов протестированы на Qwen3.5-4B: Pi выполняет 5 задач за 1 м 36 с, OpenCode — за 17 м 43 с

Разработчик провел бенчмарк 10 AI-агентов для кодинга на модели Qwen3.5-4B. Каждый агент запускался в headless-режиме с авто-подтверждением и, где возможно, с отключенной телеметрией. Каждый получил отдельную папку настроек, свежую копию фикстуры и 10 минут на задачу. Весь набор прогонялся через adapters/<agent>.sh с автоматическими проверками из check/check.sh.

5 задач

• T1 — Прочитать порт БД из YAML (не перепутать с портом кэша) и записать его в файл.
• T2 — Написать скрипт stats.py, запустить его, сохранить вывод.
• T3 — Исправить баг в slugify, чтобы тесты прошли; скрытые примеры ловят переобучение.
• T4 — Посчитать строки ERROR в трех лог-файлах, найти самую частую ошибку.
• T5 — Переименовать функцию в трех файлах, не меняя поведение программы.

Результаты (общее время, пройденные задачи)

• Pi v1.3.0 — 1м36с, 5/5. T1 10с, T2 14с, T3 24с, T4 19с, T5 29с. Едва ли нужно рассуждать о форматах инструментов.
• goose v1.55.0 — 2м51с, 5/5. Стабильно, без запинок.
• Crush v0.98.1 — 3м31с, 5/5. Немного более многословные рассуждения.
• Atomic Agent v0.6.9 — 4м38с, 5/5. Медленнее на T3 (77с) и T5 (104с) из-за правок в нескольких файлах, но без сломанных вызовов инструментов или ложных завершений.
• Cline v3.0.73 — 5м56с, 5/5. Застрял более чем на две минуты на T2, прежде чем написать правильно.
• OpenClaw v2026.10.5 — 5м44с, 5/5. Работал в режиме --local-model-lean; медленнее на T3 (107с) и T4 (116с).
• OpenCode v1.19.3 — 17м43с. Завершил все, но в среднем почти 4 минуты на задачу; модель передумала простые шаги.

Учтены семь агентов с указанием времени и числа пройденных задач. В исходном посте указано 10, но только для первых семи записей в выдержке приведены таблицы бенчмарка. Сырые тайминги по задачам и полные скрипты адаптеров/проверок — в оригинальной ветке.

Вывод для тех, кто запускает небольшие локальные модели: нормализация форматов вызовов инструментов здесь важнее, чем размер модели. Агенты, которые дают модели простую, жесткую схему инструментов (Pi, goose), завершили те же 5/5 за минуты, тогда как более универсальные циклы тратили время на форматирование и лишние размышления.