ForgeAI: Ein Visuelles Arbeitsfeld für Modellierungstechnik

ForgeAI ist ein Desktop-Tool, das darauf ausgelegt ist, die lokale Modellentwicklung zu vereinfachen, indem es eine visuelle Schnittstelle zur Inspektion, zum Zusammenführen und Trainieren von KI-Modellen bietet. Nach sechsmonatiger Entwicklung wurde dieses Tool mit Rust, Tauri v2, SvelteKit und llama.cpp erstellt und ist für Linux, macOS (sowohl Intel als auch Apple Silicon) und Windows verfügbar.

Wichtige Funktionen

• 3D Modellinspektion: Visualisieren Sie die Modellarchitektur, den Speicherverbrauch und die Schichten in drei Dimensionen, um ein intuitiveres Verständnis der Modellstruktur zu ermöglichen.
• Modellzusammenführung: Bietet eine Drag-and-Drop-Oberfläche zum Zusammenführen von Modellen mit 12 verschiedenen Methoden. Die M-DNA Forge-Funktion ermöglicht es den Benutzern, Schichten aus verschiedenen Modellen visuell auszuwählen und zu ziehen, um ein neues 'Nachfolgemodell' zu erstellen.
• Schichtenspezifisches Training: Unterstützt das Training spezifischer Schichten mit LoRA/QLoRA-Techniken.
• Quantisierung: Ermöglicht die Quantisierung von Modellen in GGUF-Formate von Q2 bis Q8.

Technische Herausforderungen und Erkenntnisse

Die Entwicklung offenbarte die Komplexität des Zusammenführens von Modellen über Architekturen hinweg. Erfolgreiche Zusammenführungen erfordern, dass die Modelle zur selben Familie gehören und einen Dimensionsunterschied von maximal 1,2x aufweisen. Willkürliches Zusammenführen von Modellen, wie der Versuch, ein 268M (640d) Modell mit einem 999M (1152d) Modell zusammenzuführen, führt oft zu schlechten Ergebnissen, da die Dimensionsinterpolation nicht dem Wissensübergang zwischen unterschiedlichen Architekturen entspricht.

Das Tool ist besonders nützlich für Entwickler, die das Jonglieren mit mehreren Befehlszeilen-Tools und YAML-Konfigurationen leid sind, und bietet eine All-in-One-Lösung für die lokale Modellentwicklung.