ForgeAI: Un Banco de Trabajo Visual para la Ingeniería de Modelos

ForgeAI es una herramienta de escritorio diseñada para simplificar la ingeniería local de modelos al proporcionar una interfaz visual para inspeccionar, fusionar y entrenar modelos de IA. Después de seis meses de desarrollo, esta herramienta está construida con Rust, Tauri v2, SvelteKit y llama.cpp, y está disponible para Linux, macOS (tanto Intel como Apple Silicon) y Windows.

Características Clave

• Inspección de Modelos en 3D: Visualiza la arquitectura del modelo, el uso de memoria y las capas en tres dimensiones, permitiendo una comprensión más intuitiva de la estructura del modelo.
• Fusión de Modelos: Ofrece una interfaz de arrastrar y soltar para fusionar modelos utilizando 12 métodos diferentes. La función M-DNA Forge permite a los usuarios seleccionar y arrastrar visualmente capas de diferentes modelos para crear un nuevo modelo 'descendiente'.
• Entrenamiento Específico de Capas: Admite el entrenamiento de capas específicas utilizando técnicas LoRA/QLoRA.
• Cuantización: Permite la cuantización de modelos en formatos GGUF que van de Q2 a Q8.

Desafíos Técnicos y Aprendizajes

El desarrollo reveló la complejidad de la fusión de modelos de diferentes arquitecturas. Las fusiones exitosas requieren que los modelos pertenezcan a la misma familia y estén dentro de una diferencia de dimensión de 1.2x. La fusión arbitraria de modelos, como intentar fusionar un modelo de 268M (640d) con un modelo de 999M (1152d), a menudo resulta en resultados pobres debido a que la interpolación de dimensiones no equivale a la transferencia de conocimiento entre arquitecturas diversas.

La herramienta es particularmente útil para desarrolladores cansados de lidiar con múltiples herramientas de línea de comandos y configuraciones YAML, proporcionando una solución todo en uno para la ingeniería local de modelos.