Qwen2-0.5Bをllama.cppでローカルタスク自動化向けにファインチューニング

開発者がQwen2-0.5Bをタスク自動化向けにファインチューニングし、GPUやクラウドAPIを必要とせずCPU上で完全にローカル実行可能なモデルを作成しました。このプロジェクトはACEと名付けられ、GitHubで公開されています。

機能概要

• 自然言語タスクを受け取る（例：「ログをバックアップにコピー」）
• タスクタイプを検出：単一タスク、反復タスク、または詳細確認が必要なタスク
• CLIコマンドとホットキーからなる実行計画を生成
• CPU上で完全にローカル実行（GPU不要、クラウドAPI不要）

技術詳細

• ベースモデル：Qwen2-0.5B
• 学習：約1000件のカスタムタスク例によるLoRAファインチューニング
• 量子化：GGUF Q4_K_M形式（ファイルサイズ300MB）
• 推論：llama.cpp
• 推論時間：i3/i5プロセッサで3-10秒

学習時の主な課題

• データ品質：不適切な例のためデータセットを2-3回再生成する必要があった
• 過学習：検証損失を安定させるために複数回の試行が必要だった
• EOSトークン処理：トークナイザ設定を修正するまでモデルが生成を停止しなかった
• GGUF変換：安定した出力を得るためにBF16データ型＋imatrix量子化が必要だった

制限事項（v0.1）

• 完全なファイルパスが必要（スマートなファイル検索機能は未実装）
• CPU推論のみ（古いハードウェアでは遅い）
• 基本的な実行機能（視覚的理解機能なし）

パフォーマンスベンチマーク

• i5（2018年以降）+ SSD：3-5秒
• i3（2015年以降）+ SSD：5-10秒
• 古いハードウェア（Pentium + HDD）：30-90秒

開発者は、様々なハードウェアでのパフォーマンス、モデルが失敗するエッジケース、v0.2向けの機能リクエストに関するフィードバックを求めています。