Pourquoi le « prédicteur de token suivant » est un mauvais modèle mental pour les LLM

Qualifier un LLM de « prédicteur de prochain jeton » n'est pas faux, c'est incomplet. Cette formulation décrit le mécanisme (génération autorégressive de jetons) mais ignore ce que le post-entraînement encode : la simulation d'un assistant utile et des connaissances découvertes par l'exploration.

Les boucles d'entraînement

Le pré-entraînement est effectivement une prédiction de prochain jeton :

pour jetons dans données_entraînement :
    pour position dans range(1, len(jetons)) :
        jetons_précédents = jetons[:position]
        jeton_suivant_réel = jetons[position]
        modèle.rendre_plus_probable(jeton_suivant_réel, après=jetons_précédents)

Mais les LLM modernes subissent un RLVR (apprentissage par renforcement avec récompenses vérifiables), ce qui est différent :

pour tâche dans tâches_entraînement :
    pour jetons_explorés dans modèle.explorer(tâche) :
        récompense = évaluer_résultat(tâche, jetons_explorés)
        pour position dans range(len(jetons_explorés)) :
            jetons_précédents = tâche + jetons_explorés[:position]
            jeton_exploré_suivant = jetons_explorés[position]
            modèle.rendre_plus_probable(jeton_exploré_suivant, après=jetons_précédents, selon=récompense)

Pendant le RLVR, le modèle génère de nouvelles séquences et apprend des résultats — jamais vus dans les données d'entraînement. C'est fondamentalement différent de simplement imiter le texte existant.

Analogie avec les échecs

Pensez à deux systèmes d'échecs. Un entraîné uniquement sur des parties de grands maîtres prédit le coup le plus probable — un prédicteur de coup suivant. Un autre explore exhaustivement toutes les parties possibles, connaît la probabilité de victoire depuis chaque position, et choisit le coup qui maximise la victoire. Qualifier le second de « prédicteur de coup suivant » serait étrange — il essaie de gagner, pas d'imiter.

Pourquoi ça compte

Le RLHF déplace également les modèles de l'imitation vers la simulation d'assistant utile. Le RLVR va plus loin, permettant une exploration au-delà des données d'entraînement. Donc « prédicteur de prochain jeton » décrit la forme mais ignore ce que la boucle encode. Une simulation d'assistant utile et des connaissances découvertes s'intègrent dans la même boucle autorégressive — mais ce n'est pas tout ce qu'ils sont.