ForgeAI : Un atelier visuel pour l'ingénierie de modèles

ForgeAI est un outil de bureau conçu pour simplifier l'ingénierie de modèles locaux en fournissant une interface visuelle pour inspecter, fusionner et entraîner des modèles d'IA. Après six mois de développement, cet outil est construit avec Rust, Tauri v2, SvelteKit et llama.cpp, et est disponible pour Linux, macOS (Intel et Apple Silicon) et Windows.

Fonctionnalités principales

• Inspection de modèle 3D : Visualisez l'architecture du modèle, l'utilisation de la mémoire et les couches en trois dimensions, permettant une compréhension plus intuitive de la structure du modèle.
• Fusion de modèles : Offre une interface glisser-déposer pour fusionner des modèles en utilisant 12 méthodes différentes. La fonctionnalité M-DNA Forge permet aux utilisateurs de sélectionner visuellement et de faire glisser des couches de différents modèles pour créer un nouveau modèle « descendant ».
• Entraînement spécifique aux couches : Prend en charge l'entraînement de couches spécifiques en utilisant les techniques LoRA/QLoRA.
• Quantification : Permet la quantification des modèles en formats GGUF allant de Q2 à Q8.

Défis techniques et apprentissages

Le développement a révélé la complexité de la fusion de modèles entre architectures. Les fusions réussies nécessitent que les modèles proviennent de la même famille et aient une différence de dimension inférieure à 1,2x. La fusion arbitraire de modèles, comme tenter de fusionner un modèle de 268M (640d) avec un modèle de 999M (1152d), donne souvent de mauvais résultats car l'interpolation des dimensions n'équivaut pas à un transfert de connaissances entre architectures différentes.

L'outil est particulièrement utile pour les développeurs fatigués de jongler avec plusieurs outils en ligne de commande et configurations YAML, offrant une solution tout-en-un pour l'ingénierie de modèles locaux.