Talkie: Um LLM de 13B Treinado Exclusivamente em Textos Anteriores a 1931, Usando Claude como Juiz no Treinamento RL

Uma equipe de pesquisadores, incluindo Alec Radford (GPT, CLIP, Whisper), Nick Levine e David Duvenaud, acaba de lançar o Talkie, um modelo de linguagem de 13 bilhões de parâmetros treinado exclusivamente em textos publicados antes de 1931. O corte de conhecimento do modelo é 31 de dezembro de 1930 — sem internet, sem Wikipédia, sem conteúdo da Segunda Guerra Mundial.

Por que isso importa

Os LLMs atuais (GPT, Claude, Gemini, Llama) compartilham dados de treinamento da web moderna, dificultando separar memorização de raciocínio genuíno. O Talkie quebra essa linhagem: sua distribuição de treinamento é fundamentalmente diferente, permitindo que pesquisadores testem se as capacidades surgem de memorização ou generalização. Como a equipe observa: "É uma questão importante saber o quanto das capacidades dos LLMs vêm de memorização versus generalização. Os LLMs vintage permitem testes de generalização únicos."

O papel do Claude no treinamento

O Claude Sonnet 4.6 serviu como juiz no pipeline de aprendizado por reforço do Talkie (DPO online). Além disso, o Claude Opus 4.4 gerou conversas sintéticas de múltiplas rodadas usadas na etapa final de ajuste fino. A equipe reconhece a ironia e o risco de contaminação, destacando que estão trabalhando para eliminar isso em versões futuras.

Principais capacidades

• O Talkie pode aprender a escrever código Python a partir de apenas alguns exemplos no contexto — apesar de ter zero código moderno em seus dados de treinamento. Ele está raciocinando a partir de textos de matemática do século XIX, não de recuperação.
• Projetado para previsões de longo prazo: quão bem um modelo consegue "prever" o futuro a partir de sua perspectiva congelada de 1930?
• Pode ser usado para estudar "invenção" — se consegue desenvolver ideias posteriores ao seu corte de conhecimento.
• Ajuda a isolar quais capacidades são impulsionadas pela arquitetura vs. absorvidas de dados da web.

Acesso e licenciamento

Tanto o Talkie quanto sua variante são licenciados sob Apache 2.0 e têm pesos abertos no Hugging Face. Você pode conversar com ele ao vivo no link fornecido. A equipe planeja um modelo vintage na escala do GPT-3 ainda este ano.

Para que está sendo usado

• Previsões de longo prazo: prever desenvolvimentos futuros a partir de um ponto de vista histórico.
• Invenção: gerar ideias posteriores ao seu corte de treinamento.
• Identidade de LLMs: o que torna um modelo ele mesmo — isolando efeitos de arquitetura vs. distribuição de dados.