Talkie：基于1931年前文本训练的13B大型语言模型，采用Claude作为强化学习训练的评判者

Alec Radford（GPT、CLIP、Whisper）、Nick Levine、David Duvenaudを含む研究チームが、Talkieを公開しました。これは130億パラメータの言語モデルで、1931年より前に公開されたテキストのみで学習されています。モデルの知識の基準日は1930年12月31日で、インターネット、Wikipedia、第二次世界大戦の内容は一切含まれていません。

なぜ重要なのか

現在のLLM（GPT、Claude、Gemini、Llama）はすべて現代のWebからの学習データを共有しており、記憶と真の推論を分離することが困難です。Talkieはその系列を断ち切ります。学習分布が根本的に異なるため、研究者は能力が記憶から生じるのか、一般化から生じるのかをテストできます。チームが指摘するように：「言語モデルの能力が記憶と一般化のどちらから生じるかは重要な問題です。ビンテージ言語モデルは独自の一般化テストを可能にします。」

学習におけるClaudeの役割

Claude Sonnet 4.6は、Talkieの強化学習パイプライン（オンラインDPO）の評価者として機能しました。さらに、Claude Opus 4.4が合成マルチターン会話を生成し、最終的な微調整段階で使用されました。チームは皮肉や汚染リスクを認識しており、将来のバージョンで排除するよう取り組んでいると述べています。

主な機能

• Talkieは、学習データに現代のコードが一切ないにもかかわらず、わずか数件のコンテキスト内例からPythonコードの書き方を学習できます。19世紀の数学テキストから推論しており、検索によるものではありません。
• 長期的予測向けに設計：モデルは凍結された1930年の視点から未来をどの程度「予測」できるか？
• 「発明」の研究に使用可能：知識の基準日以降のアイデアを生み出せるか？
• アーキテクチャ駆動の能力とWebデータから吸収された能力を分離するのに役立つ。

アクセスとライセンス

TalkieとそのバリアントはApache 2.0ライセンスで提供され、Hugging Face上でオープンウェイトです。提供されたリンクからライブチャットが可能です。チームは今年後半にGPT-3規模のビンテージモデルを計画しています。

研究用途

• 長期的予測：歴史的観点から将来の展開を予測。
• 発明：訓練基準日以降のアイデアを生成。
• LLMのアイデンティティ：モデルをそれ自体たらしめるものは何か——アーキテクチャとデータ分布の影響を分離。