Qwen2-0.5B, доработанный для локальной автоматизации задач с использованием llama.cpp
Разработчик дообучил Qwen2-0.5B для автоматизации задач, создав модель, которая работает полностью локально на CPU без необходимости в GPU или облачных API. Проект под названием ACE доступен на GitHub.
Что он делает
- Принимает задачи на естественном языке (например, "скопируй логи в резервную копию")
- Определяет тип задачи: атомарная, повторяющаяся или требующая уточнения
- Генерирует планы выполнения, состоящие из CLI-команд и горячих клавиш
- Работает полностью локально на CPU (без GPU и облачных API)
Технические детали
- Базовая модель: Qwen2-0.5B
- Обучение: дообучение LoRA на примерно 1000 пользовательских примеров задач
- Квантование: формат GGUF Q4_K_M (размер файла 300 МБ)
- Вывод: llama.cpp
- Время вывода: 3-10 секунд на процессорах i3/i5
Основные сложности при обучении
- Качество данных: пришлось перегенерировать набор данных 2-3 раза из-за некачественных примеров
- Переобучение: потребовалось несколько итераций для стабилизации потерь на валидации
- Обработка токена EOS: модель не прекращала генерацию, пока не была исправлена конфигурация токенизатора
- Конвертация в GGUF: потребовался тип данных BF16 + квантование imatrix для получения стабильных результатов
Ограничения (v0.1)
- Требует полных путей к файлам (пока нет интеллектуального поиска файлов)
- Только вывод на CPU (медленнее на старом оборудовании)
- Базовое выполнение (без визуального понимания)
Тесты производительности
- i5 (2018+) с SSD: 3-5 секунд
- i3 (2015+) с SSD: 5-10 секунд
- Старое оборудование (Pentium + HDD): 30-90 секунд
Разработчик ищет отзывы о производительности на разном оборудовании, крайних случаях, которые ломают модель, и запросы на функции для v0.2.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Создание альтернативы OpenClaw своими руками с использованием кода Claude в безголовом режиме
Разработчик создал сервер на Python, который отправляет запросы к Claude Code в безголовом режиме, с доступом через Telegram-бота, автоматизацией Hammerspoon и локальным хранением данных в файлах Markdown для задач, расписаний и заметок.
Трепан: Локальный аудитор безопасности VS Code для кода, созданного ИИ
Trepan — это расширение с открытым исходным кодом для VS Code, которое выступает в роли защитника безопасности для предложений кода, сгенерированных ИИ. Оно использует Ollama для проведения локальных проверок безопасности на соответствие правилам конкретного проекта в файле .trepan/system_rules.md.
Git pre-commit hook предотвращает фиксацию изменений AI-агентами программирования с устаревшей документацией.
Разработчик создал Git pre-commit hook, который блокирует коммиты, когда файлы документации устарели, специально решая проблемы с AI-агентами для написания кода, такими как Claude Code, Cursor, Windsurf и Copilot. Инструмент завершает работу с кодом ошибки 1, чтобы заставить AI-агентов обновить документацию перед продолжением.
Claude-Powered MCP Tool Генерирует Интерактивные HTML-Компоненты Без Инструментов Сборки
Разработчик создал daub.dev — систему, в которой Claude управляет MCP-сервером для создания стилизованных, интерактивных HTML-компонентов пользовательского интерфейса из описаний на естественном языке без использования React, сборщиков или конвейеров сборки.