Qwen2-0.5B, доработанный для локальной автоматизации задач с использованием llama.cpp

✍️ OpenClawRadar📅 Опубликовано: 22 марта 2026 г.🔗 Source
Qwen2-0.5B, доработанный для локальной автоматизации задач с использованием llama.cpp
Ad

Разработчик дообучил Qwen2-0.5B для автоматизации задач, создав модель, которая работает полностью локально на CPU без необходимости в GPU или облачных API. Проект под названием ACE доступен на GitHub.

Что он делает

  • Принимает задачи на естественном языке (например, "скопируй логи в резервную копию")
  • Определяет тип задачи: атомарная, повторяющаяся или требующая уточнения
  • Генерирует планы выполнения, состоящие из CLI-команд и горячих клавиш
  • Работает полностью локально на CPU (без GPU и облачных API)

Технические детали

  • Базовая модель: Qwen2-0.5B
  • Обучение: дообучение LoRA на примерно 1000 пользовательских примеров задач
  • Квантование: формат GGUF Q4_K_M (размер файла 300 МБ)
  • Вывод: llama.cpp
  • Время вывода: 3-10 секунд на процессорах i3/i5
Ad

Основные сложности при обучении

  • Качество данных: пришлось перегенерировать набор данных 2-3 раза из-за некачественных примеров
  • Переобучение: потребовалось несколько итераций для стабилизации потерь на валидации
  • Обработка токена EOS: модель не прекращала генерацию, пока не была исправлена конфигурация токенизатора
  • Конвертация в GGUF: потребовался тип данных BF16 + квантование imatrix для получения стабильных результатов

Ограничения (v0.1)

  • Требует полных путей к файлам (пока нет интеллектуального поиска файлов)
  • Только вывод на CPU (медленнее на старом оборудовании)
  • Базовое выполнение (без визуального понимания)

Тесты производительности

  • i5 (2018+) с SSD: 3-5 секунд
  • i3 (2015+) с SSD: 5-10 секунд
  • Старое оборудование (Pentium + HDD): 30-90 секунд

Разработчик ищет отзывы о производительности на разном оборудовании, крайних случаях, которые ломают модель, и запросы на функции для v0.2.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Смотрите также

Локальный менеджер проектов в стиле Trello для агентов OpenClaw, использующий файлы в формате markdown.
Инструменты

Локальный менеджер проектов в стиле Trello для агентов OpenClaw, использующий файлы в формате markdown.

Разработчик создал локальную доску Trello для управления проектами с помощью агентов OpenClaw, используя Node.js + Express для API, React + react-trello для интерфейса и файлы markdown с YAML frontmatter в качестве уровня данных. Система работает на машине OpenClaw и доступна локально, при этом агенты читают/записывают файлы карточек напрямую в файловой системе.

OpenClawRadar
Сандра: MCP с открытым исходным кодом для постоянной памяти графов в Клод
Инструменты

Сандра: MCP с открытым исходным кодом для постоянной памяти графов в Клод

Sandra — это бэкенд графовой + векторной памяти с нативным MCP-сервером, который дает Клоду постоянную структурированную память между сессиями, поддерживая точный, нечеткий и семантический поиск.

OpenClawRadar
Демонстрация сервера NarrateAI MCP показывает, как Claude добавляет голосовое сопровождение к видео.
Инструменты

Демонстрация сервера NarrateAI MCP показывает, как Claude добавляет голосовое сопровождение к видео.

Живая демонстрация показывает, как Claude использует сервер NarrateAI MCP для автоматического озвучивания видео по URL-адресу, обрабатывая асинхронные запросы и создавая озвучку путем анализа беззвучных записей экрана.

OpenClawRadar
Ory Lumen: Плагин с открытым исходным кодом для локального семантического поиска в Claude Code
Инструменты

Ory Lumen: Плагин с открытым исходным кодом для локального семантического поиска в Claude Code

Ory Lumen — это плагин для Claude Code, который индексирует кодовые базы с использованием Ollama с моделью векторного представления кода и SQLite-vec для семантического поиска, решая проблемы производительности Claude Code при работе с большими кодовыми базами. Инструмент бесплатный, работает только локально и включает в себя тестовый набор в стиле SWE для воспроизводимых результатов.

OpenClawRadar