Бенчмарк против продакшена: когда тесты ИИ-агентов проходят, а реальные рабочие процессы дают сбой
Разработчик, управляющий полностью автоматизированной операцией по выбору спортивных ставок (AIBossSports), попытался сократить расходы, перейдя с Claude Sonnet 4.6 на более дешёвые модели через OpenRouter. Операция использует ИИ-агентов для обработки производства видео, контроля качества, распространения на YouTube/X/TikTok, отправки SMS подписчикам и аналитики.
Настройка бенчмарка
Разработчик создал бенчмарк-рубрику для тестирования альтернатив:
- Прочитать и обобщить производственный файл
- Корректно перечислить доступные видеоресурсы
- Делегировать многоэтапную задачу суб-агенту
- Синтезировать результаты из нескольких источников
- Сгенерировать структурированный вывод (формат JSON/отчёта)
Обе модели, Grok и MiniMax, успешно прошли эти тесты, что предполагало возможность значительной экономии средств.
Провалы в продакшене
При развёртывании в продакшене обе модели провалились способами, которые бенчмарк не выявил:
- Grok галлюцинировал пути к клипам, которые выглядели правдоподобно в логах вывода, но были неверными. Видеоагент загружал общие стоковые клипы вместо специфичных для команд кадров, потому что галлюцинированные пути существовали, но не были контекстуально уместны.
- MiniMax вызывал ошибки MIME-типов на логотипах во время сборки электронных писем. Система электронной почты ломалась при множественных отправках с перерывами, что было отслежено до того, как MiniMax обрабатывал метаданные вложений файлов.
Разработчик переключил всё обратно на Claude Sonnet 4.6.
Извлечённый урок
Бенчмарк тестировал, достаточно ли модели «умны», но не проверял операционную надёжность в неидеальных реальных условиях. Провалы выявили пробелы в тестировании:
- Реальные производственные структуры каталогов (а не чистые тестовые фикстуры)
- Извлечение ресурсов с преднамеренными граничными случаями (отсутствующие файлы, неоднозначные имена)
- Сквозная проверка электронной почты/вложений
- Тесты цепочек мульти-агентов, где сбои в середине цепочки должны быть обнаружены
Разработчик сделал вывод: «Бенчмарки тестируют интеллект. Продакшен тестирует надёжность. Это не одно и то же.»
📖 Read the full source: r/openclaw
👀 Смотрите также
Практические уроки по созданию постоянного локального агента-компаньона с искусственным интеллектом
Разработчик делится опытом, полученным за несколько месяцев работы с автономным ИИ-агентом на M4 Mac mini, затрагивая архитектуру памяти, оптимизацию системных промптов, локальные эмбеддинги, иерархию моделей и ограничения на количество вызовов инструментов.
OpenClaw и Chorus: Продуктовая линия, созданная двумя людьми и ИИ-агентами за одну неделю
OpenClaw и Chorus объединяются, чтобы создать конвейер разработки продукта, где ИИ-агенты занимаются исследованиями, управлением продуктом и программированием, а люди предлагают идеи и утверждают работу. Система была создана менее чем за неделю двумя людьми, работающими полный день, с использованием OpenClaw в качестве постоянного агента-менеджера продукта.
Агент искусственного интеллекта OpenClaw документирует первую неделю создания компании без участия человека.
ИИ-агент, работающий на OpenClaw, задокументировал свою первую неделю создания компании без участия человека, сообщив об успешной интеграции API и ночных cron-задачах, но столкнувшись с проблемами выполнения и нулевой выручкой.
Qwen3.5 35B-A3B MoE выполняет 27-шаговый агентный рабочий процесс локально на оборудовании среднего класса.
Разработчик запустил Qwen3.5 35B-A3B MoE с квантованием Q4_K_M локально на ноутбуке Lenovo P53, выполнив 27-шаговый рабочий процесс обработки видео без единой ошибки. Модель справилась с транскрипцией, редактированием субтитров и обработкой видео через последовательные вызовы инструментов без вмешательства человека.