DeepSeek-V4-Flashがローカルモデル向けLLM制御を実用的に

Seen Goedecke の最新記事では、DeepSeek-V4-Flash が LLM ステアリング（推論中にモデルの活性化を操作して出力を導く技術）の状況を一変させたと主張しています。その鍵を握るのが DwarfStar です。これは antirez による llama.cpp の簡略化フォークで、DeepSeek-V4-Flash のみを実行し、ステアリングを第一級の機能として組み込んでいます。

ステアリングとは？

ステアリングは、モデルの内部活性化から「簡潔に答える」といった概念を抽出します。方法の1つとして、100個のプロンプトを2回（通常時と「簡潔に答える」を追加した場合）与え、活性化行列を差し引いて ステアリングベクトル を取得します。そのベクトルを任意のプロンプトの活性化に加えると、モデルは簡潔になります。より高度なアプローチでは、スパースオートエンコーダ（Anthropic のものなど）を使用して特徴パターンを学習しますが、コストは高くなります。

なぜ重要なのか

ステアリングは、プロンプトエンジニアリングなしでモデルの動作を直接制御できる可能性を秘めています。「あなたは必ず〜しなければならない」といった修飾語を書く代わりに、簡潔さ や 誠実さ のスライダーを操作できるようになります。また、解釈可能性の観点からも魅力的です——ゴールデンゲート・クロードの固執現象を、自分好みに調整できるようなものです。

なぜこれまで普及しなかったのか？

ステアリングは中途半端なアイデアでした。大手研究所にとっては粗雑すぎる（モデルを再学習すれば済む）、API ユーザーにとってはアクセス不能（重みや活性化にアクセスできない）、オープンウェイトモデルはわざわざ使うほどの性能ではなかった——それが DeepSeek-V4-Flash の登場で変わりました。このモデルはエージェントコーディングに十分な性能を持っています。それでも、冗長性のような単純な特性ではプロンプトの方が優れていることが多く、ステアリングの真価は 知性 のようなプロンプトでは制御しにくい概念を操れる点にあります。

Goedecke は DwarfStar を引き続き注視する予定です。執筆時点では、ステアリングのサポートは初歩的（プロンプトと同様の冗長性の切り替えのみ）ですが、リリースからまだ8日しか経っていません。