Rétro-ingénierie du Neural Engine d'Apple pour entraîner des modèles MicroGPT

Accès Direct au Neural Engine d'Apple

Un développeur a contourné le framework CoreML d'Apple pour accéder directement au Neural Engine (ANE) sur un Mac mini M4, créant un pipeline d'entraînement personnalisé pour les petits modèles de langage. Le projet a impliqué la rétro-ingénierie des API privées de l'ANE en utilisant Claude, puis l'exécution de benchmarks et la mise en œuvre de l'entraînement sans l'interface CoreML recommandée par Apple.

Spécifications Techniques et Performances

L'ANE sur la puce M4 fournit 38 TFLOPS de calcul INT8 revendiqué, bien que le développeur note qu'il s'agit en réalité d'un processeur FP16, ce qui réduit de moitié la puissance de calcul effective. Le pic de calcul sur l'ANE ne consomme que 2,8 W, résultant en une efficacité de 6,6 TFLOPS/watt. À titre de comparaison, le GPU Metal atteint environ 1 TFLOPS/watt, tandis que le H100 de NVIDIA atteint 1,4 TFLOPS/watt.

Mise en Œuvre de l'Entraînement

Le développeur a créé un pipeline d'entraînement sur mesure qui a réussi à entraîner un modèle MicroGPT de 110 millions de paramètres sur l'ANE. Bien qu'une seule puce ne puisse pas entraîner pratiquement des modèles plus grands, le développeur suggère qu'un cluster de dispositifs ANE pourrait théoriquement entraîner des modèles plus volumineux. Même sur un seul dispositif, l'entraînement LoRA pour des modèles de 3 ou 7 milliards de paramètres devrait être réalisable.

Pourquoi Entraîner sur des NPU ?

La motivation principale est l'efficacité énergétique. L'efficacité de 6,6 TFLOPS/watt de l'ANE la rend nettement plus économe en énergie que les méthodes d'entraînement traditionnelles sur GPU, ce qui est particulièrement précieux pour l'informatique en périphérie et le développement soucieux de l'énergie.

Ressources Disponibles

• Documentation de rétro-ingénierie
• Résultats des benchmarks
• Mise en œuvre de l'entraînement (en cours)
• Dépôt GitHub avec le code

Le projet démontre que le Neural Engine d'Apple, généralement traité comme une boîte noire, peut être accédé directement pour des workflows d'entraînement d'IA personnalisés, offrant aux développeurs une alternative à l'entraînement basé sur GPU avec une efficacité énergétique supérieure.