ForgeAI: Uma Bancada Visual para Engenharia de Modelos

O ForgeAI é uma ferramenta de desktop projetada para simplificar a engenharia de modelos locais, fornecendo uma interface visual para inspecionar, mesclar e treinar modelos de IA. Após seis meses de desenvolvimento, esta ferramenta é construída com Rust, Tauri v2, SvelteKit e llama.cpp, e está disponível para Linux, macOS (tanto Intel quanto Apple Silicon) e Windows.

Recursos Principais

• Inspeção de Modelos 3D: Visualize a arquitetura do modelo, uso de memória e camadas em três dimensões, permitindo uma compreensão mais intuitiva da estrutura do modelo.
• Fusão de Modelos: Oferece uma interface de arrastar e soltar para mesclar modelos usando 12 métodos diferentes. O recurso M-DNA Forge permite que os usuários selecionem e arrastem visualmente camadas de diferentes modelos para criar um novo modelo 'descendente'.
• Treinamento Específico por Camada: Suporta o treinamento de camadas específicas usando técnicas LoRA/QLoRA.
• Quantização: Permite a quantização de modelos em formatos GGUF variando de Q2 a Q8.

Desafios Técnicos e Aprendizados

O desenvolvimento revelou a complexidade da fusão de modelos entre arquiteturas diferentes. Fusões bem-sucedidas exigem que os modelos sejam da mesma família e tenham uma diferença de dimensão de até 1,2x. A fusão arbitrária de modelos, como tentar mesclar um modelo de 268M (640d) com um de 999M (1152d), frequentemente resulta em resultados ruins, pois a interpolação de dimensões não equivale à transferência de conhecimento entre arquiteturas diversas.

A ferramenta é particularmente útil para desenvolvedores cansados de lidar com várias ferramentas de linha de comando e configurações YAML, oferecendo uma solução completa para engenharia de modelos locais.