「次のトークン予測器」がLLMの誤ったメンタルモデルである理由

LLMを「次のトークン予測器」と呼ぶことは、間違いではありませんが、不完全です。その枠組みはメカニズム（自己回帰的なトークン生成）を説明しますが、ポストトレーニングが何を符号化するかを見落としています：役立つアシスタントのシミュレーションと、探索によって発見された知識です。

トレーニングループ

事前学習は確かに次のトークン予測です：

for tokens in training_data:
    for position in range(1, len(tokens)):
        prior_tokens = tokens[:position]
        actual_next_token = tokens[position]
        model.make_more_likely(actual_next_token, after=prior_tokens)

しかし、現代のLLMはRLVR（検証可能な報酬による強化学習）を受けており、それは異なって見えます：

for task in training_tasks:
    for explored_tokens in model.explore(task):
        reward = evaluate_outcome(task, explored_tokens)
        for position in range(len(explored_tokens)):
            prior_tokens = task + explored_tokens[:position]
            explored_next_token = explored_tokens[position]
            model.make_more_likely(explored_next_token, after=prior_tokens, according_to=reward)

RLVR中、モデルは新しい系列を生成し、結果から学びます。これはトレーニングデータには決して現れません。これは既存のテキストを単に模倣することとは根本的に異なります。

チェスのアナロジー

2つのチェスシステムを考えてみてください。1つはグランドマスターのゲームのみで訓練され、最も可能性の高い次の手を予測します。これは次の手の予測器です。もう1つは、可能なすべてのゲームを徹底的に探索し、すべての位置から勝率を把握し、勝つ確率を最大化する手を選びます。2つ目を「次の手の予測器」と呼ぶのは奇妙でしょう。それは模倣ではなく、勝利を目指しているのです。

なぜ重要か

RLHFもモデルを模倣から役立つアシスタントのシミュレーションへとシフトさせます。RLVRはさらに進み、トレーニングデータを超えた探索を可能にします。したがって、「次のトークン予測器」は形状を説明するが、ループが符号化するものを見落としています。役立つアシスタントのシミュレーションと発見された知識はどちらも同じ自己回帰ループに適合しますが、それだけではありません。