Обновление правила метаобучения DeepMind DiscoRL перенесено с JAX на PyTorch.

Разработчик перенёс правило метаобучения DiscoRL от DeepMind из JAX в PyTorch. Работа основана на статье 2025 года в Nature о DiscoRL, что означает «Распределённое композиционное обучение с подкреплением» — метаподход к обучению агентов, способных быстро адаптироваться к новым задачам.

Детали реализации

Перенос включает полную реализацию, доступную на GitHub по адресу https://github.com/asystemoffields/disco-torch. Репозиторий содержит:

• Блокнот Colab для экспериментов
• API для использования реализации
• Предобученные веса, размещённые на Hugging Face

Разработчик использовал Claude Code для помощи в процессе переноса из JAX в PyTorch. Такой тип переводческой работы распространён в сообществе машинного обучения, когда исследователи хотят сделать реализации доступными в разных фреймворках или предпочитают работать с одним фреймворком вместо другого.

Метаподходы, такие как DiscoRL, предназначены для того, чтобы агенты могли быстро изучать новые задачи, используя предыдущий опыт. «Правило обновления» относится к математической формулировке того, как политика или функция ценности агента корректируется во время обучения. Перенос таких реализаций позволяет пользователям PyTorch экспериментировать с этими техниками без необходимости работать в JAX.