ForgeAI: 모델 엔지니어링을 위한 시각적 작업대

ForgeAI는 AI 모델 검사, 병합 및 훈련을 위한 시각적 인터페이스를 제공하여 로컬 모델 엔지니어링을 단순화하도록 설계된 데스크톱 도구입니다. 6개월간의 개발 끝에, 이 도구는 Rust, Tauri v2, SvelteKit, llama.cpp로 구축되었으며 Linux, macOS(Intel 및 Apple Silicon 모두), Windows에서 사용 가능합니다.

주요 기능

• 3D 모델 검사: 모델 아키텍처, 메모리 사용량 및 레이어를 3차원으로 시각화하여 모델 구조를 보다 직관적으로 이해할 수 있습니다.
• 모델 병합: 12가지 다른 방법을 사용하여 모델을 병합하기 위한 드래그 앤 드롭 인터페이스를 제공합니다. M-DNA Forge 기능을 통해 사용자는 서로 다른 모델에서 레이어를 시각적으로 선택하고 드래그하여 새로운 '자손' 모델을 생성할 수 있습니다.
• 레이어별 훈련: LoRA/QLoRA 기술을 사용한 특정 레이어 훈련을 지원합니다.
• 양자화: Q2부터 Q8까지 GGUF 형식으로 모델 양자화를 허용합니다.

기술적 도전과 학습

개발 과정에서 크로스 아키텍처 모델 병합의 복잡성이 드러났습니다. 성공적인 병합을 위해서는 모델이 동일한 계열에 속하고 차원 차이가 1.2배 이내여야 합니다. 예를 들어, 268M(640d) 모델과 999M(1152d) 모델을 병합하려는 시도와 같이 임의의 모델 병합은 차원 보간이 다양한 아키텍처 간 지식 전달과 동일하지 않기 때문에 종종 좋지 않은 결과를 초래합니다.

이 도구는 여러 명령줄 도구와 YAML 구성을 번갈아 사용하는 데 지친 개발자들에게 특히 유용하며, 로컬 모델 엔지니어링을 위한 올인원 솔루션을 제공합니다.