Por qué el 'predictor de siguiente token' es el modelo mental incorrecto para los LLM

Llamar a un LLM “predictor de siguiente token” no es incorrecto: es incompleto. Ese marco describe el mecanismo (generación autorregresiva de tokens) pero ignora lo que el post-entrenamiento codifica: la simulación de un asistente útil y el conocimiento descubierto mediante la exploración.

Los bucles de entrenamiento

El pre-entrenamiento es de hecho predicción de siguiente token:

for tokens in training_data:
    for position in range(1, len(tokens)):
        prior_tokens = tokens[:position]
        actual_next_token = tokens[position]
        model.make_more_likely(actual_next_token, after=prior_tokens)

Pero los LLM modernos pasan por RLVR (aprendizaje por refuerzo con recompensas verificables), que se ve diferente:

for task in training_tasks:
    for explored_tokens in model.explore(task):
        reward = evaluate_outcome(task, explored_tokens)
        for position in range(len(explored_tokens)):
            prior_tokens = task + explored_tokens[:position]
            explored_next_token = explored_tokens[position]
            model.make_more_likely(explored_next_token, after=prior_tokens, according_to=reward)

Durante RLVR, el modelo genera nuevas secuencias y aprende de los resultados, nunca vistos en los datos de entrenamiento. Eso es fundamentalmente diferente de simplemente imitar texto existente.

La analogía del ajedrez

Piensa en dos sistemas de ajedrez. Uno entrenado solo con partidas de grandes maestros predice el movimiento más probable: un predictor de siguiente movimiento. Otro explora exhaustivamente todas las partidas posibles, conoce la probabilidad de ganar desde cada posición y elige el movimiento que maximiza la victoria. Llamar al segundo “predictor de siguiente movimiento” sería extraño: está intentando ganar, no imitar.

Por qué importa

RLHF también desplaza a los modelos de la imitación hacia la simulación de un asistente útil. RLVR va más allá, permitiendo la exploración más allá de los datos de entrenamiento. Así que “predictor de siguiente token” describe la forma pero ignora lo que el bucle codifica. Una simulación de un asistente útil y conocimiento descubierto caben en el mismo bucle autorregresivo, pero no son solo eso.