Talkie: 13B LLM, обученная исключительно на текстах до 1931 года, с использованием Claude в качестве судьи при RL-обучении

Группа исследователей, включая Алека Рэдфорда (GPT, CLIP, Whisper), Ника Левина и Дэвида Дювено, только что выпустила Talkie — языковую модель с 13 миллиардами параметров, обученную исключительно на текстах, опубликованных до 1931 года. Область знаний модели заканчивается 31 декабря 1930 года — никакого интернета, Википедии или контента о Второй мировой войне.

Почему это важно

Современные LLM (GPT, Claude, Gemini, Llama) разделяют обучающие данные из современного веба, что затрудняет отделение запоминания от подлинного рассуждения. Talkie разрывает эту связь: его обучающий распределение принципиально иное, что позволяет исследователям проверить, возникают ли способности из запоминания или обобщения. Как отмечает команда: «Важный вопрос — в какой степени возможности LM обусловлены запоминанием, а не обобщением. Винтажные LM позволяют проводить уникальные тесты на обобщение.»

Роль Claude в обучении

Claude Sonnet 4.6 служил судьей в конвейере обучения с подкреплением Talkie (онлайн DPO). Кроме того, Claude Opus 4.4 генерировал синтетические многопоточные диалоги, которые использовались на финальном этапе точной настройки. Команда признает иронию и риск заражения, отмечая, что это то, что они планируют устранить в будущих версиях.

Ключевые возможности

• Talkie может научиться писать код на Python на основе всего нескольких примеров в контексте — несмотря на полное отсутствие современного кода в обучающих данных. Он рассуждает на основе математических текстов XIX века, а не извлекает информацию.
• Предназначен для долгосрочного прогнозирования: насколько хорошо модель может «предсказывать» будущее с точки зрения своего замороженного состояния 1930 года?
• Может использоваться для изучения «изобретательства» — способности разрабатывать идеи, которые выходят за временные рамки её знаний.
• Помогает изолировать, какие способности обусловлены архитектурой, а какие заимствованы из веб-данных.

Доступ и лицензирование

Talkie и его вариант распространяются по лицензии Apache 2.0 и имеют открытый вес на Hugging Face. Вы можете общаться с ним вживую по предоставленной ссылке. Команда планирует выпустить винтажную модель масштаба GPT-3 позднее в этом году.

Для чего она используется

• Долгосрочное прогнозирование: предсказывать будущие события с исторической точки зрения.
• Изобретательство: генерировать идеи, которые выходят за временные рамки её обучения.
• Идентичность LLM: что делает модель собой — выделение влияния архитектуры и распределения данных.