Qwen3.5 35B-A3B MoE выполняет 27-шаговый агентный рабочий процесс локально на оборудовании среднего класса.

Демонстрация локального агентного рабочего процесса

Разработчик на r/LocalLLaMA сообщил об успешном запуске сложного агентного рабочего процесса локально с использованием Qwen3.5 35B-A3B MoE. Модель автономно выполнила 27-шаговую цепочку обработки видео на оборудовании среднего уровня.

Детали рабочего процесса

Задача включала обработку видео по одному естественноязыковому запросу:

• Загрузить видео
• Транскрибировать с помощью Whisper
• Отредактировать субтитры
• Встроить субтитры обратно в видео с пользовательским стилем

Рабочий процесс состоял из 27 последовательных вызовов инструментов, включая: extract_audio, transcribe, read_file, edit_file, burn_subtitles, а также шаги проверки. Модель планировала, выполняла, проверяла каждый шаг и самостоятельно корректировала при необходимости.

Технические характеристики

Оборудование:

• Мобильная рабочая станция Lenovo ThinkPad P53
• Процессор Intel i7-9850H
• Quadro RTX 3000 (6 ГБ видеопамяти)
• 48 ГБ оперативной памяти DDR4 2666 МТ/с

Программный стек:

• Полная локальная реализация с llama.cpp + whisper.cpp
• Облачные API не использовались

Конфигурация модели:

• Qwen3.5 35B-A3B MoE с квантованием Q4_K_M
• Архитектура MoE с ~3 млрд активных параметров на токен
• Помещается и работает на 6 ГБ видеопамяти с выгрузкой слоёв
• Полная база знаний на 35 млрд параметров

Результаты производительности

Полный рабочий процесс занял примерно 10 минут, причём большая часть времени ушла на вывод. Разработчик отметил ноль ошибок и ноль вмешательства человека в течение 27-шаговой цепочки. Архитектура MoE сделала это возможным на оборудовании среднего уровня, сохраняя низкое количество активных параметров при сохранении полной возможности модели.

Это демонстрирует, что локальные агентные рабочие процессы становятся практичными на потребительском оборудовании, особенно с моделями MoE, которые балансируют количество активных параметров для скорости с полным количеством параметров для возможностей.