OmniCoder-9B ファインチューニング: 8GB VRAMで40+ tok/s 達成

OpenCodeでのOmniCoder-9Bテストのパフォーマンス結果

r/LocalLLaMAのユーザーが、OpusトレースでトレーニングされたQwen3.5-9Bのファインチューニング版であるOmniCoder-9Bをテストし、限られたVRAMのシステムでもエージェント型コーディングタスクで良好なパフォーマンスを発揮することを報告しました。このモデルはHugging FaceのTesslate/OmniCoder-9Bで利用可能です。

技術的セットアップと構成

ユーザーはik_llamaを使用してQ4_K_M GGUF量子化を以下のコマンドで実行しました：

ik_llama.cpp\build\bin\Release\llama-server.exe -m models/Tesslate/OmniCoder-9B-GGUF/omnicoder-9b-q4_k_m.gguf -ngl 999 -fa 1 -b 2048 -ub 512 -t 8 -c 100000 -ctk f16 -ctv q4_0 --temp 0.4 --top-p 0.95 --top-k 20 --presence-penalty 0.0 --jinja --ctx-checkpoints 0

この構成で約毎秒40トークンの速度を達成しました。ユーザーは、64,000コンテキスト長のQ5_KS量子化でも同様の速度が得られると指摘しています。

OpenCodeの構成

テストに使用されたOpenCodeの構成：

"local": { "models": { "/models/Tesslate/OmniCoder-9B-GGUF/omnicoder-9b-q4_k_m.gguf": { "interleaved": { "field": "reasoning_content" }, "limit": { "context": 100000, "output": 32000 }, "name": "omnicoder-9b-q4_k_m", "reasoning": true, "temperature": true, "tool_call": true } }, "npm": "@ai-sdk/openai-compatible", "options": { "baseURL": "http://localhost:8080/v1" } }

ユーザーは、完全なプロンプトの再処理を引き起こす可能性のあるバグについて調査中であると述べています。

背景と比較

このテストは、商用AIコーディングツールのクォータ制限と価格変更に関する懸念から動機づけられました。ユーザーは特に8GB VRAMを所有しており、これは通常、エージェント型コーディングに適した速度で能力のあるオープンソースモデルを実行する能力を制限します。MOEモデルはより優れたパフォーマンスを提供する可能性があるが、速度は大幅に遅いと指摘しています。

📖 Read the full source: r/LocalLLaMA