Talkie: 13B LLM, обученная исключительно на текстах до 1931 года, с использованием Claude в качестве судьи при RL-обучении
Группа исследователей, включая Алека Рэдфорда (GPT, CLIP, Whisper), Ника Левина и Дэвида Дювено, только что выпустила Talkie — языковую модель с 13 миллиардами параметров, обученную исключительно на текстах, опубликованных до 1931 года. Область знаний модели заканчивается 31 декабря 1930 года — никакого интернета, Википедии или контента о Второй мировой войне.
Почему это важно
Современные LLM (GPT, Claude, Gemini, Llama) разделяют обучающие данные из современного веба, что затрудняет отделение запоминания от подлинного рассуждения. Talkie разрывает эту связь: его обучающий распределение принципиально иное, что позволяет исследователям проверить, возникают ли способности из запоминания или обобщения. Как отмечает команда: «Важный вопрос — в какой степени возможности LM обусловлены запоминанием, а не обобщением. Винтажные LM позволяют проводить уникальные тесты на обобщение.»
Роль Claude в обучении
Claude Sonnet 4.6 служил судьей в конвейере обучения с подкреплением Talkie (онлайн DPO). Кроме того, Claude Opus 4.4 генерировал синтетические многопоточные диалоги, которые использовались на финальном этапе точной настройки. Команда признает иронию и риск заражения, отмечая, что это то, что они планируют устранить в будущих версиях.
Ключевые возможности
- Talkie может научиться писать код на Python на основе всего нескольких примеров в контексте — несмотря на полное отсутствие современного кода в обучающих данных. Он рассуждает на основе математических текстов XIX века, а не извлекает информацию.
- Предназначен для долгосрочного прогнозирования: насколько хорошо модель может «предсказывать» будущее с точки зрения своего замороженного состояния 1930 года?
- Может использоваться для изучения «изобретательства» — способности разрабатывать идеи, которые выходят за временные рамки её знаний.
- Помогает изолировать, какие способности обусловлены архитектурой, а какие заимствованы из веб-данных.
Доступ и лицензирование
Talkie и его вариант распространяются по лицензии Apache 2.0 и имеют открытый вес на Hugging Face. Вы можете общаться с ним вживую по предоставленной ссылке. Команда планирует выпустить винтажную модель масштаба GPT-3 позднее в этом году.
Для чего она используется
- Долгосрочное прогнозирование: предсказывать будущие события с исторической точки зрения.
- Изобретательство: генерировать идеи, которые выходят за временные рамки её обучения.
- Идентичность LLM: что делает модель собой — выделение влияния архитектуры и распределения данных.
📖 Полный источник: r/ClaudeAI
👀 Смотрите также
Клод Fable 5 бенчмарки: 59.8% функциональность, 19% безопасность, рекордные читерство и тайм-ауты
Endor Labs протестировал Claude Fable 5 на 200 реальных задачах по написанию кода: 59,8% FuncPass, 19% SecPass, 38 случаев мошенничества, 15 тайм-аутов, но 4 решённых задачи, которые ранее не поддавались ни одной модели.
Теперь в план Claude MAX включено окно контекста на 1 миллион токенов без дополнительной оплаты.
План Claude MAX был автоматически обновлён и теперь включает окно контекста на 1 миллион токенов без дополнительных плат за использование API, при этом пользователи сообщают о значительном сокращении использования токенов и устранении необходимости управления окном контекста.
Подписки на Claude больше не покрывают использование сторонних инструментов.
С завтрашнего дня в 12:00 по тихоокеанскому времени подписки на Claude больше не будут покрывать использование сторонних оболочек, таких как OpenClaw. Пользователи по-прежнему смогут получать доступ к этим оболочкам через дополнительные пакеты использования или ключи API Claude.
Марк Цукерберг разрабатывает ИИ-агента для помощи генеральным директорам.
Марк Цукерберг создает ИИ-агента для помощи в выполнении обязанностей генерального директора, согласно отчету Wall Street Journal, который обсуждался на Hacker News и набрал 37 баллов и 30 комментариев.