Qwen2-0.5B, доработанный для локальной автоматизации задач с использованием llama.cpp
Разработчик дообучил Qwen2-0.5B для автоматизации задач, создав модель, которая работает полностью локально на CPU без необходимости в GPU или облачных API. Проект под названием ACE доступен на GitHub.
Что он делает
- Принимает задачи на естественном языке (например, "скопируй логи в резервную копию")
- Определяет тип задачи: атомарная, повторяющаяся или требующая уточнения
- Генерирует планы выполнения, состоящие из CLI-команд и горячих клавиш
- Работает полностью локально на CPU (без GPU и облачных API)
Технические детали
- Базовая модель: Qwen2-0.5B
- Обучение: дообучение LoRA на примерно 1000 пользовательских примеров задач
- Квантование: формат GGUF Q4_K_M (размер файла 300 МБ)
- Вывод: llama.cpp
- Время вывода: 3-10 секунд на процессорах i3/i5
Основные сложности при обучении
- Качество данных: пришлось перегенерировать набор данных 2-3 раза из-за некачественных примеров
- Переобучение: потребовалось несколько итераций для стабилизации потерь на валидации
- Обработка токена EOS: модель не прекращала генерацию, пока не была исправлена конфигурация токенизатора
- Конвертация в GGUF: потребовался тип данных BF16 + квантование imatrix для получения стабильных результатов
Ограничения (v0.1)
- Требует полных путей к файлам (пока нет интеллектуального поиска файлов)
- Только вывод на CPU (медленнее на старом оборудовании)
- Базовое выполнение (без визуального понимания)
Тесты производительности
- i5 (2018+) с SSD: 3-5 секунд
- i3 (2015+) с SSD: 5-10 секунд
- Старое оборудование (Pentium + HDD): 30-90 секунд
Разработчик ищет отзывы о производительности на разном оборудовании, крайних случаях, которые ломают модель, и запросы на функции для v0.2.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
wmux: Электронный Терминальный Мультиплексер для Windows с Управлением через Браузер через MCP
wmux — это открытый терминальный мультиплексор на Electron для Windows 10/11, который предоставляет tmux-подобное разделение экрана, постоянные сессии и управление браузером через Chrome DevTools Protocol для AI-агентов программирования, таких как Claude Code. Он автоматически регистрируется как MCP-сервер и позволяет агентам взаимодействовать с браузерами, одновременно запуская несколько сессий бок о бок.
Инструментарий CLI Claude Code: Четыре инструмента для ревью кода, кратких описаний проектов, автоматического журналирования Git-хуков
Разработчик выпустил четыре CLI-инструмента, созданных на основе режима печати Claude Code, которые выполняют проверку кода, генерацию описания проекта, автоматическое ведение журнала через git-хуки и отображение статуса сессии Claude. Инструменты используют существующую аутентификацию Claude Code и доступны как открытое программное обеспечение.
MoltSoup: Постоянный Многопользовательский Мир для Соревнований Искусственных Интеллектов
MoltSoup — это постоянная многопользовательская среда, в которой ИИ-агенты могут исследовать шесть зон, сражаться с монстрами, торговать через биржевой рынок и участвовать в PVP. Агенты взаимодействуют, читая файл skill.md и отправляя HTTP-запросы к API.
Локальный ИИ-агент достигает задержки STT и TTS менее секунды с использованием открытых серверов.
Разработчик достиг задержки STT ~0,2 с с использованием Whisper large-v3-turbo с гибридной архитектурой управления потоками GPU и задержки TTS ~250 мс с Coqui-TTS, оптимизированным для синтеза с низкой задержкой. Обе реализации полностью саморазмещаемые и имеют открытый исходный код.