ForgeAI: Визуальная рабочая платформа для инженерии моделей

ForgeAI — это настольный инструмент, созданный для упрощения локальной разработки моделей, предоставляющий визуальный интерфейс для инспекции, объединения и обучения AI моделей. После шести месяцев разработки этот инструмент создан с использованием Rust, Tauri v2, SvelteKit и llama.cpp и доступен для Linux, macOS (на Intel и Apple Silicon) и Windows.

Ключевые особенности

• Инспекция 3D моделей: Визуализируйте архитектуру модели, использование памяти и слои в трех измерениях, что позволяет более интуитивно понимать структуру модели.
• Объединение моделей: Предлагает интерфейс перетаскивания для объединения моделей с использованием 12 различных методов. Функция M-DNA Forge позволяет пользователям визуально выбирать и перетаскивать слои из различных моделей для создания новой "потомственной" модели.
• Обучение по слоям: Поддерживает обучение конкретных слоев с использованием технологий LoRA/QLoRA.
• Квантизация: Позволяет квантизацию моделей в форматы GGUF от Q2 до Q8.

Технические сложности и выводы

Разработка выявила сложность объединения моделей разных архитектур. Успешное объединение требует, чтобы модели принадлежали к одной семье и имели разницу в размере не более 1,2x. Произвольное объединение моделей, например, объединение модели 268M (640d) с моделью 999M (1152d), часто приводит к плохим результатам из-за того, что интерполяция размеров не равнозначна переносу знаний между различными архитектурами.

Инструмент особенно полезен для разработчиков, усталых от использования множества командных инструментов и YAML конфигураций, предоставляя универсальное решение для собственной разработки моделей.