DiscordオートコンプリートのためのQwen 14Bのファインチューニング

ある開発者が、Discordメッセージを使用してQwen 14Bモデルを微調整し、オートコンプリートツールとして機能させる方法についての経験を共有しました。このセットアップは、GitHub Copilotのような、入力中に提案を行うツールに非常に似ています。

開発者は、スクレイピングツールで取得したDiscordからの約250の会話をデータセットとして使用しました。各会話はチャット-MLトレーニングサンプルとしてフォーマットされ、特にユーザーが最後に何かを言ったメッセージに焦点を当て、コードブロックやリンクを含まないようにしました。この選択は、技術的な内容よりも会話的なトーンに焦点を当てていることを示しています。

Qwen 14Bモデルは、unsloth.aiプラットフォームとQLoRAを使用してKaggle GPUで微調整され、データセットのサイズが小さいため、トレーニングプロセス全体は約15分間続きました。その後、微調整されたモデルを.gguf形式にマージし、ollama.comを介してローカルで使用できるようにしました。

このオートコンプリートツールのフロントエンドはChrome拡張機能として実装されています。最後の数件のメッセージとユーザーの現在の入力をキャプチャして、適切なコンテキストを持つチャット-MLプロンプトを構築し、それをOllamaが提供するモデルから補完を生成するために使用します。ゼロ幅のUnicode文字が提案の開始位置を示すために巧妙に使用され、shift+tabを押すと提案が受け入れられます。

現在のセットアップはDiscordで動作しており、将来的には他のサイトをサポートする拡張が可能です。開発者はまた、現在の14Bモデルが利用可能なメモリをほぼ最大限に使用しているため、異なるモデルサイズを試すことを提案しています。4Bまたは8Bモデルが、データ制限の可能性はあるものの、実行可能な代替案になるかもしれないと述べています。

ソースコードと詳細は、開発者のGitHubgithub.com/b44ken/finetuneで入手できます。