Qwen2-0.5B, доработанный для локальной автоматизации задач с использованием llama.cpp

Разработчик дообучил Qwen2-0.5B для автоматизации задач, создав модель, которая работает полностью локально на CPU без необходимости в GPU или облачных API. Проект под названием ACE доступен на GitHub.

Что он делает

• Принимает задачи на естественном языке (например, "скопируй логи в резервную копию")
• Определяет тип задачи: атомарная, повторяющаяся или требующая уточнения
• Генерирует планы выполнения, состоящие из CLI-команд и горячих клавиш
• Работает полностью локально на CPU (без GPU и облачных API)

Технические детали

• Базовая модель: Qwen2-0.5B
• Обучение: дообучение LoRA на примерно 1000 пользовательских примеров задач
• Квантование: формат GGUF Q4_K_M (размер файла 300 МБ)
• Вывод: llama.cpp
• Время вывода: 3-10 секунд на процессорах i3/i5

Основные сложности при обучении

• Качество данных: пришлось перегенерировать набор данных 2-3 раза из-за некачественных примеров
• Переобучение: потребовалось несколько итераций для стабилизации потерь на валидации
• Обработка токена EOS: модель не прекращала генерацию, пока не была исправлена конфигурация токенизатора
• Конвертация в GGUF: потребовался тип данных BF16 + квантование imatrix для получения стабильных результатов

Ограничения (v0.1)

• Требует полных путей к файлам (пока нет интеллектуального поиска файлов)
• Только вывод на CPU (медленнее на старом оборудовании)
• Базовое выполнение (без визуального понимания)

Тесты производительности

• i5 (2018+) с SSD: 3-5 секунд
• i3 (2015+) с SSD: 5-10 секунд
• Старое оборудование (Pentium + HDD): 30-90 секунд

Разработчик ищет отзывы о производительности на разном оборудовании, крайних случаях, которые ломают модель, и запросы на функции для v0.2.