DeepMind DiscoRL Regra de Atualização de Meta Aprendizado Migrada do JAX para PyTorch

Um desenvolvedor portou a regra de atualização de meta-aprendizado DiscoRL da DeepMind do JAX para PyTorch. O trabalho é baseado no artigo da Nature de 2025 sobre DiscoRL, que significa 'Distributed Compositional Reinforcement Learning' (Aprendizado por Reforço Composicional Distribuído) — uma abordagem de meta-aprendizado para treinar agentes que podem se adaptar rapidamente a novas tarefas.

Detalhes da Implementação

A portabilidade inclui uma implementação completa disponível no GitHub em https://github.com/asystemoffields/disco-torch. O repositório contém:

• Um notebook Colab para experimentação
• Uma API para usar a implementação
• Pesos pré-treinados hospedados no Hugging Face

O desenvolvedor usou o Claude Code para auxiliar no processo de portabilidade do JAX para PyTorch. Esse tipo de trabalho de tradução é comum na comunidade de aprendizado de máquina quando pesquisadores querem disponibilizar implementações em diferentes frameworks ou quando preferem trabalhar com um framework em vez de outro.

Abordagens de meta-aprendizado como DiscoRL são projetadas para permitir que agentes aprendam novas tarefas rapidamente aproveitando experiências anteriores. A 'regra de atualização' refere-se à formulação matemática de como a política ou função de valor do agente é ajustada durante o aprendizado. Portar tais implementações permite que usuários do PyTorch experimentem essas técnicas sem precisar trabalhar no JAX.