Qwen2-0.5B, доработанный для локальной автоматизации задач с использованием llama.cpp
Разработчик дообучил Qwen2-0.5B для автоматизации задач, создав модель, которая работает полностью локально на CPU без необходимости в GPU или облачных API. Проект под названием ACE доступен на GitHub.
Что он делает
- Принимает задачи на естественном языке (например, "скопируй логи в резервную копию")
- Определяет тип задачи: атомарная, повторяющаяся или требующая уточнения
- Генерирует планы выполнения, состоящие из CLI-команд и горячих клавиш
- Работает полностью локально на CPU (без GPU и облачных API)
Технические детали
- Базовая модель: Qwen2-0.5B
- Обучение: дообучение LoRA на примерно 1000 пользовательских примеров задач
- Квантование: формат GGUF Q4_K_M (размер файла 300 МБ)
- Вывод: llama.cpp
- Время вывода: 3-10 секунд на процессорах i3/i5
Основные сложности при обучении
- Качество данных: пришлось перегенерировать набор данных 2-3 раза из-за некачественных примеров
- Переобучение: потребовалось несколько итераций для стабилизации потерь на валидации
- Обработка токена EOS: модель не прекращала генерацию, пока не была исправлена конфигурация токенизатора
- Конвертация в GGUF: потребовался тип данных BF16 + квантование imatrix для получения стабильных результатов
Ограничения (v0.1)
- Требует полных путей к файлам (пока нет интеллектуального поиска файлов)
- Только вывод на CPU (медленнее на старом оборудовании)
- Базовое выполнение (без визуального понимания)
Тесты производительности
- i5 (2018+) с SSD: 3-5 секунд
- i3 (2015+) с SSD: 5-10 секунд
- Старое оборудование (Pentium + HDD): 30-90 секунд
Разработчик ищет отзывы о производительности на разном оборудовании, крайних случаях, которые ломают модель, и запросы на функции для v0.2.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Локальный менеджер проектов в стиле Trello для агентов OpenClaw, использующий файлы в формате markdown.
Разработчик создал локальную доску Trello для управления проектами с помощью агентов OpenClaw, используя Node.js + Express для API, React + react-trello для интерфейса и файлы markdown с YAML frontmatter в качестве уровня данных. Система работает на машине OpenClaw и доступна локально, при этом агенты читают/записывают файлы карточек напрямую в файловой системе.
Сандра: MCP с открытым исходным кодом для постоянной памяти графов в Клод
Sandra — это бэкенд графовой + векторной памяти с нативным MCP-сервером, который дает Клоду постоянную структурированную память между сессиями, поддерживая точный, нечеткий и семантический поиск.
Демонстрация сервера NarrateAI MCP показывает, как Claude добавляет голосовое сопровождение к видео.
Живая демонстрация показывает, как Claude использует сервер NarrateAI MCP для автоматического озвучивания видео по URL-адресу, обрабатывая асинхронные запросы и создавая озвучку путем анализа беззвучных записей экрана.
Ory Lumen: Плагин с открытым исходным кодом для локального семантического поиска в Claude Code
Ory Lumen — это плагин для Claude Code, который индексирует кодовые базы с использованием Ollama с моделью векторного представления кода и SQLite-vec для семантического поиска, решая проблемы производительности Claude Code при работе с большими кодовыми базами. Инструмент бесплатный, работает только локально и включает в себя тестовый набор в стиле SWE для воспроизводимых результатов.