Talkie: 13B LLM, обученная исключительно на текстах до 1931 года, с использованием Claude в качестве судьи при RL-обучении
Группа исследователей, включая Алека Рэдфорда (GPT, CLIP, Whisper), Ника Левина и Дэвида Дювено, только что выпустила Talkie — языковую модель с 13 миллиардами параметров, обученную исключительно на текстах, опубликованных до 1931 года. Область знаний модели заканчивается 31 декабря 1930 года — никакого интернета, Википедии или контента о Второй мировой войне.
Почему это важно
Современные LLM (GPT, Claude, Gemini, Llama) разделяют обучающие данные из современного веба, что затрудняет отделение запоминания от подлинного рассуждения. Talkie разрывает эту связь: его обучающий распределение принципиально иное, что позволяет исследователям проверить, возникают ли способности из запоминания или обобщения. Как отмечает команда: «Важный вопрос — в какой степени возможности LM обусловлены запоминанием, а не обобщением. Винтажные LM позволяют проводить уникальные тесты на обобщение.»
Роль Claude в обучении
Claude Sonnet 4.6 служил судьей в конвейере обучения с подкреплением Talkie (онлайн DPO). Кроме того, Claude Opus 4.4 генерировал синтетические многопоточные диалоги, которые использовались на финальном этапе точной настройки. Команда признает иронию и риск заражения, отмечая, что это то, что они планируют устранить в будущих версиях.
Ключевые возможности
- Talkie может научиться писать код на Python на основе всего нескольких примеров в контексте — несмотря на полное отсутствие современного кода в обучающих данных. Он рассуждает на основе математических текстов XIX века, а не извлекает информацию.
- Предназначен для долгосрочного прогнозирования: насколько хорошо модель может «предсказывать» будущее с точки зрения своего замороженного состояния 1930 года?
- Может использоваться для изучения «изобретательства» — способности разрабатывать идеи, которые выходят за временные рамки её знаний.
- Помогает изолировать, какие способности обусловлены архитектурой, а какие заимствованы из веб-данных.
Доступ и лицензирование
Talkie и его вариант распространяются по лицензии Apache 2.0 и имеют открытый вес на Hugging Face. Вы можете общаться с ним вживую по предоставленной ссылке. Команда планирует выпустить винтажную модель масштаба GPT-3 позднее в этом году.
Для чего она используется
- Долгосрочное прогнозирование: предсказывать будущие события с исторической точки зрения.
- Изобретательство: генерировать идеи, которые выходят за временные рамки её обучения.
- Идентичность LLM: что делает модель собой — выделение влияния архитектуры и распределения данных.
📖 Полный источник: r/ClaudeAI
👀 Смотрите также
Apple предлагает бесплатный Private Cloud Compute независимым разработчикам с менее чем 2 миллионами загрузок
Apple объявила на WWDC 2026, что разработчики с менее чем 2 миллионами первых загрузок в App Store могут использовать Foundation Models в Private Cloud Compute без оплаты облачного API. Платформа также получила поддержку ввода изображений и серверных моделей.
Xiaomi открыла исходный код MiMo-V2.5-Pro: приближается к Claude Opus 4.6 по бенчмаркам кодинга
Xiaomi выпустил MiMo-V2.5-Pro — модель с открытым исходным кодом, которая набрала 233/233 на университетском проекте компилятора, самостоятельно создала видеоредактор и занимает место в 1% от Claude Opus 4.6 по бенчмаркам SWE-Bench и Terminal-Bench.
Opus 4.7 вставляет себя и раскрывает системный промпт
Пользователи Claude Opus 4.7 сообщают, что модель вставляет фейковые системные промпты и утекает фрагменты реальных системных промптов без каких-либо действий со стороны пользователя.
Исследование ETH Zurich: Избыточный контекст снижает производительность ИИ-агентов для программирования
Исследование ETH Zurich протестировало четырех кодирующих агентов на 138 реальных задачах GitHub и обнаружило, что контекстные файлы, сгенерированные LLM, снизили успешность выполнения задач на 2-3%, при этом увеличив затраты на вывод на 20%. Контекст, написанный человеком, улучшил успешность лишь примерно на 4% при значительном росте затрат.