DiscordオートコンプリートのためのQwen 14Bのファインチューニング

ある開発者が、Discordメッセージを使用してQwen 14Bモデルを微調整し、オートコンプリートツールとして機能させる方法についての経験を共有しました。このセットアップは、GitHub Copilotのような、入力中に提案を行うツールに非常に似ています。
開発者は、スクレイピングツールで取得したDiscordからの約250の会話をデータセットとして使用しました。各会話はチャット-MLトレーニングサンプルとしてフォーマットされ、特にユーザーが最後に何かを言ったメッセージに焦点を当て、コードブロックやリンクを含まないようにしました。この選択は、技術的な内容よりも会話的なトーンに焦点を当てていることを示しています。
Qwen 14Bモデルは、unsloth.aiプラットフォームとQLoRAを使用してKaggle GPUで微調整され、データセットのサイズが小さいため、トレーニングプロセス全体は約15分間続きました。その後、微調整されたモデルを.gguf形式にマージし、ollama.comを介してローカルで使用できるようにしました。
このオートコンプリートツールのフロントエンドはChrome拡張機能として実装されています。最後の数件のメッセージとユーザーの現在の入力をキャプチャして、適切なコンテキストを持つチャット-MLプロンプトを構築し、それをOllamaが提供するモデルから補完を生成するために使用します。ゼロ幅のUnicode文字が提案の開始位置を示すために巧妙に使用され、shift+tabを押すと提案が受け入れられます。
現在のセットアップはDiscordで動作しており、将来的には他のサイトをサポートする拡張が可能です。開発者はまた、現在の14Bモデルが利用可能なメモリをほぼ最大限に使用しているため、異なるモデルサイズを試すことを提案しています。4Bまたは8Bモデルが、データ制限の可能性はあるものの、実行可能な代替案になるかもしれないと述べています。
ソースコードと詳細は、開発者のGitHubgithub.com/b44ken/finetuneで入手できます。
📖 全文を読む: r/LocalLLaMA
👀 See Also

ホークアイアップデートで、スウォーム・オーケストレーション、リモートタスク、ローカルモデルサポートが追加されました。
Hawkeye v1.0+ は、マルチエージェント・スウォーム・オーケストレーション、リモートタスクキューイング、および改善された Ollama/LM Studio 統合をサポートするようになりました。ローカルファーストの AI エージェント・フライトレコーダーは、開発者がエージェントがリポジトリ内で作業する際に何が起こるかを追跡するのに役立ちます。

MCP-インドスタック:AIエージェント向けインド金融データのオフラインファーストサーバー
MCP-India-Stackは、認証や外部API呼び出しを必要とせず、インドの金融・政府API機能を提供するオフラインファーストのMCPサーバーです。税計算、検証ツール、ルックアップのためにデータセットをローカルにバンドルしています。

VibeAround:ローカルデーモンがコーディングエージェントをTelegramとDiscordに接続します
VibeAroundは、Claude Code、Gemini CLI、CodexなどのコーディングエージェントをTelegramやDiscordなどのIMプラットフォームに接続するローカルデーモンです。このツールは、ピックアップコードを使ったセッションの引き継ぎ機能を備えており、デバイスをまたいで会話を続けることができます。

Vigil: オープンクローエージェントのブロッキングを防ぐための暗号IDシステム
OpenClawエージェントを運用する開発者が、匿名エージェントのトラフィックがサイトからブロックされるケースが増えていることを指摘し、Vigilという解決策を提案しています。これはエージェントに暗号化IDを付与して信頼性を構築し、無差別なブロックを回避するサインインシステムです。