DeepMind DiscoRL Règle de Mise à Jour par Apprentissage Méta Portée de JAX à PyTorch

Un développeur a porté la règle de mise à jour de méta-apprentissage DiscoRL de DeepMind de JAX à PyTorch. Ce travail est basé sur l'article de Nature 2025 concernant DiscoRL, qui signifie 'Distributed Compositional Reinforcement Learning' (Apprentissage par Renforcement Compositionnel Distribué) — une approche de méta-apprentissage pour entraîner des agents capables de s'adapter rapidement à de nouvelles tâches.

Détails de l'implémentation

Le portage inclut une implémentation complète disponible sur GitHub à l'adresse https://github.com/asystemoffields/disco-torch. Le dépôt contient :

• Un notebook Colab pour l'expérimentation
• Une API pour utiliser l'implémentation
• Des poids pré-entraînés hébergés sur Hugging Face

Le développeur a utilisé Claude Code pour aider au processus de portage de JAX à PyTorch. Ce type de travail de traduction est courant dans la communauté du ML lorsque les chercheurs souhaitent rendre des implémentations disponibles dans différents frameworks ou lorsqu'ils préfèrent travailler avec un framework plutôt qu'un autre.

Les approches de méta-apprentissage comme DiscoRL sont conçues pour permettre aux agents d'apprendre rapidement de nouvelles tâches en tirant parti d'expériences antérieures. La 'règle de mise à jour' fait référence à la formulation mathématique de la manière dont la politique ou la fonction de valeur de l'agent est ajustée pendant l'apprentissage. Porter de telles implémentations permet aux utilisateurs de PyTorch d'expérimenter avec ces techniques sans avoir à travailler dans JAX.