Talkie: Un LLM de 13B entrenado exclusivamente en textos anteriores a 1931, usando a Claude como juez en el entrenamiento RL

Un equipo de investigadores, entre los que se incluyen Alec Radford (GPT, CLIP, Whisper), Nick Levine y David Duvenaud, acaba de publicar Talkie, un modelo de lenguaje de 13 mil millones de parámetros entrenado exclusivamente con texto publicado antes de 1931. La fecha de corte de conocimiento del modelo es el 31 de diciembre de 1930 — sin Internet, sin Wikipedia, sin contenido de la Segunda Guerra Mundial.

Por qué es importante

Los LLM actuales (GPT, Claude, Gemini, Llama) comparten datos de entrenamiento de la web moderna, lo que dificulta separar la memorización del razonamiento genuino. Talkie rompe esa línea: su distribución de entrenamiento es fundamentalmente diferente, lo que permite a los investigadores comprobar si las capacidades surgen de la memorización o de la generalización. Como señala el equipo: “Es una cuestión importante cuánto de las capacidades de los LM provienen de la memorización frente a la generalización. Los LM antiguos permiten pruebas de generalización únicas”.

El papel de Claude en el entrenamiento

Claude Sonnet 4.6 actuó como juez en el pipeline de aprendizaje por refuerzo de Talkie (DPO en línea). Además, Claude Opus 4.4 generó conversaciones sintéticas de múltiples turnos que se utilizaron en la etapa final de ajuste fino. El equipo reconoce la ironía y el riesgo de contaminación, señalando que están trabajando para eliminarlo en versiones futuras.

Capacidades clave

• Talkie puede aprender a escribir código Python con solo unos pocos ejemplos en contexto, a pesar de tener cero código moderno en sus datos de entrenamiento. Razona a partir de textos matemáticos del siglo XIX, no de recuperación.
• Diseñado para predicción a largo plazo: ¿qué tan bien puede un modelo "predecir" el futuro desde su perspectiva congelada de 1930?
• Se puede utilizar para estudiar la "invención": si puede desarrollar ideas posteriores a su fecha de corte de conocimiento.
• Ayuda a aislar qué capacidades son impulsadas por la arquitectura frente a las absorbidas de los datos web.

Acceso y licencia

Tanto Talkie como su variante tienen licencia Apache 2.0 y pesos abiertos en Hugging Face. Puedes chatear con él en vivo en el enlace proporcionado. El equipo planea un modelo antiguo a escala GPT-3 para finales de este año.

Para qué se está utilizando para estudiar

• Predicción a largo plazo: predecir desarrollos futuros desde un punto de vista histórico.
• Invención: generar ideas posteriores a su fecha de corte de entrenamiento.
• Identidad del LLM: qué hace que un modelo sea en sí mismo — aislar los efectos de la arquitectura frente a la distribución de datos.