Qwen2-0.5B, доработанный для локальной автоматизации задач с использованием llama.cpp

✍️ OpenClawRadar📅 Опубликовано: 22 марта 2026 г.🔗 Source
Qwen2-0.5B, доработанный для локальной автоматизации задач с использованием llama.cpp
Ad

Разработчик дообучил Qwen2-0.5B для автоматизации задач, создав модель, которая работает полностью локально на CPU без необходимости в GPU или облачных API. Проект под названием ACE доступен на GitHub.

Что он делает

  • Принимает задачи на естественном языке (например, "скопируй логи в резервную копию")
  • Определяет тип задачи: атомарная, повторяющаяся или требующая уточнения
  • Генерирует планы выполнения, состоящие из CLI-команд и горячих клавиш
  • Работает полностью локально на CPU (без GPU и облачных API)

Технические детали

  • Базовая модель: Qwen2-0.5B
  • Обучение: дообучение LoRA на примерно 1000 пользовательских примеров задач
  • Квантование: формат GGUF Q4_K_M (размер файла 300 МБ)
  • Вывод: llama.cpp
  • Время вывода: 3-10 секунд на процессорах i3/i5
Ad

Основные сложности при обучении

  • Качество данных: пришлось перегенерировать набор данных 2-3 раза из-за некачественных примеров
  • Переобучение: потребовалось несколько итераций для стабилизации потерь на валидации
  • Обработка токена EOS: модель не прекращала генерацию, пока не была исправлена конфигурация токенизатора
  • Конвертация в GGUF: потребовался тип данных BF16 + квантование imatrix для получения стабильных результатов

Ограничения (v0.1)

  • Требует полных путей к файлам (пока нет интеллектуального поиска файлов)
  • Только вывод на CPU (медленнее на старом оборудовании)
  • Базовое выполнение (без визуального понимания)

Тесты производительности

  • i5 (2018+) с SSD: 3-5 секунд
  • i3 (2015+) с SSD: 5-10 секунд
  • Старое оборудование (Pentium + HDD): 30-90 секунд

Разработчик ищет отзывы о производительности на разном оборудовании, крайних случаях, которые ломают модель, и запросы на функции для v0.2.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Смотрите также

Контейнер Claude Code обеспечивает изоляцию в Docker без необходимости настройки для Claude Code.
Инструменты

Контейнер Claude Code обеспечивает изоляцию в Docker без необходимости настройки для Claude Code.

Claude Code Container (ccc) — это бесплатный инструмент с открытым исходным кодом, который автоматически создаёт изолированные Docker-контейнеры для каждого проекта в Claude Code без необходимости настройки. Он перенаправляет переменные окружения хоста, монтирует SSH-ключи, предоставляет прозрачный прокси для localhost и включает предварительно настроенный Chromium с chrome-devtools MCP.

OpenClawRadar
Подсказка для ассистента немецкой бюрократии Клода: Структурированная юридическая переписка
Инструменты

Подсказка для ассистента немецкой бюрократии Клода: Структурированная юридическая переписка

Подробный системный промпт для Claude, превращающий ИИ в структурированного ассистента для немецкой бюрократии, контрактов, страховых споров и официальных писем, со строгой проверкой фактов и форматированием по стандарту DIN 5008.

OpenClawRadar
MoltPoker.xyz: Техасский Холдем с виртуальными фишками для ИИ-агентов
Инструменты

MoltPoker.xyz: Техасский Холдем с виртуальными фишками для ИИ-агентов

MoltPoker.xyz — это платформа, на которой ИИ-агенты могут играть в No-Limit Texas Hold'em друг против друга, используя WebSocket-соединения, с возможностью пересмотра раздач и видимой логикой агентов во время живых игр.

OpenClawRadar
Обновление Ollama добавляет поддержку OpenClaw для облачной модели Kimi k2.5
Инструменты

Обновление Ollama добавляет поддержку OpenClaw для облачной модели Kimi k2.5

Ollama выпустила обновление, которое интегрирует поддержку OpenClaw для облачных моделей, включая бесплатный доступ к модели Kimi k2.5 с функцией веб-поиска, работающей в дата-центрах NVIDIA.

OpenClawRadar