Ingeniería Inversa del Motor Neuronal de Apple para Entrenar Modelos MicroGPT
Acceso Directo al Motor Neuronal de Apple
Un desarrollador ha evitado el framework CoreML de Apple para acceder directamente al Motor Neuronal de Apple (ANE) en una Mac mini M4, creando un pipeline de entrenamiento personalizado para modelos de lenguaje pequeños. El proyecto involucró la ingeniería inversa de las API privadas del ANE usando Claude, luego ejecutando benchmarks e implementando entrenamiento sin la interfaz CoreML recomendada por Apple.
Especificaciones Técnicas y Rendimiento
El ANE en el chip M4 proporciona 38 TFLOPS de cómputo INT8 declarado, aunque el desarrollador señala que en realidad es un procesador FP16, lo que hace que el cómputo efectivo sea la mitad de esa cantidad. El cómputo máximo en el ANE consume solo 2.8W, resultando en una eficiencia de 6.6 TFLOPS/vatio. Para comparación, la GPU Metal alcanza aproximadamente 1 TFLOPS/vatio, mientras que la H100 de NVIDIA llega a 1.4 TFLOPS/vatio.
Implementación del Entrenamiento
El desarrollador creó un pipeline de entrenamiento personalizado que entrenó exitosamente un modelo MicroGPT de 110M parámetros en el ANE. Aunque un solo chip no puede entrenar prácticamente modelos más grandes, el desarrollador sugiere que un clúster de dispositivos ANE podría teóricamente entrenar modelos más grandes. Incluso en un solo dispositivo, el entrenamiento LoRA para modelos de 3B o 7B parámetros debería ser factible.
¿Por qué Entrenar en NPUs?
La motivación principal es la eficiencia energética. La eficiencia de 6.6 TFLOPS/vatio del ANE lo hace significativamente más eficiente energéticamente que los métodos de entrenamiento tradicionales con GPU, lo cual es particularmente valioso para la computación de borde y el desarrollo consciente de la energía.
Recursos Disponibles
- Documentación de Ingeniería Inversa
- Resultados de benchmarks
- Implementación de entrenamiento (Trabajo en Progreso)
- Repositorio GitHub con código
El proyecto demuestra que el Motor Neuronal de Apple, típicamente tratado como una caja negra, puede ser accedido directamente para flujos de trabajo personalizados de entrenamiento de IA, ofreciendo a los desarrolladores una alternativa al entrenamiento basado en GPU con eficiencia energética superior.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Bots Generales: Plataforma de agentes de IA de código abierto para la automatización empresarial autogestionada.
General Bots es una plataforma de código abierto iniciada en 2019 que proporciona agentes de IA, automatización de flujos de trabajo, procesamiento de documentos e integraciones con soporte para modelos de IA locales, diseñada para organizaciones que necesitan control total sobre su infraestructura.
Habilidad de codificación de Karpathy reescrita para el plan gratuito, desbloquea la disciplina de codificación de Claude sin Pro
Un usuario de Reddit reescribió las pautas de disciplina de codificación de Karpathy para el plan gratuito de Claude, eliminando las dependencias de terminal y subagentes. El prompt del sistema se activa automáticamente ante solicitudes de codificación y exige un pensamiento basado en verificación primero.
Servidor de Habilidades OpenClaw para Análisis y Negociación del Mercado Indio
Una terminal de trading de código abierto para los mercados indios se ha integrado como un servidor de habilidades de OpenClaw, permitiendo a los agentes obtener datos del mercado y ejecutar análisis multiagente a través de HTTP. El sistema proporciona planes de trading estructurados con precios de entrada, stop-loss y objetivos en tres perfiles de riesgo.
Construyendo un agente de codificación para contexto de 8k: División planificador/ejecutor, presupuesto de tokens y ejecución paralela
Una explicación detallada de cómo construir un agente de programación CLI diseñado para límites de 8k tokens, utilizando una arquitectura de planificador/ejecutor, presupuesto estricto de tokens y ejecución paralela de tareas.