ForgeAI: モデルエンジニアリングのためのビジュアルワークベンチ

ForgeAIは、AIモデルの検査、統合、トレーニングのためのビジュアルインターフェースを提供することで、ローカルモデルエンジニアリングを簡素化するデスクトップツールです。6か月間の開発を経て、このツールはRust、Tauri v2、SvelteKit、llama.cppで構築されており、Linux、macOS（IntelおよびApple Silicon）、Windowsで利用可能です。

主な機能

• 3Dモデル検査: モデルのアーキテクチャ、メモリ使用量、レイヤーを3次元で視覚化し、モデル構造をより直感的に理解できます。
• モデル統合: 12種類の異なる方法を使用してモデルを統合するドラッグアンドドロップインターフェースを提供します。M-DNA Forge機能により、ユーザーは異なるモデルからレイヤーを視覚的に選択してドラッグし、新しい「子孫」モデルを作成できます。
• レイヤー固有のトレーニング: LoRA/QLoRA技術を使用した特定レイヤーのトレーニングをサポートします。
• 量子化: Q2からQ8までのGGUF形式へのモデルの量子化を可能にします。

技術的課題と学び

開発を通じて、クロスアーキテクチャモデル統合の複雑さが明らかになりました。成功する統合には、モデルが同じファミリーに属し、1.2倍以内の次元差である必要があります。例えば、268M（640d）モデルと999M（1152d）モデルを統合しようとするような任意の統合は、次元補間が異なるアーキテクチャ間での知識転送と同等ではないため、多くの場合、不十分な結果をもたらします。

このツールは、複数のコマンドラインツールやYAML設定を扱うことに疲れた開発者にとって特に有用で、ローカルモデルエンジニアリングのためのオールインワンソリューションを提供します。