La Optimización de ANE Mediante Experimentos de IA Dirigidos por Teléfono Muestra los Beneficios de la Fusión de Núcleos

Un desarrollador realizó 55 experimentos de optimización en el fork autoresearch-ane, dirigiendo principalmente el proceso desde su teléfono un sábado. El trabajo se centró en mejoras de rendimiento del Apple Neural Engine (ANE) mediante optimización de núcleos y cambios arquitectónicos.

Mejoras de Rendimiento

Los experimentos produjeron ganancias medibles en varias métricas:

• La pérdida de validación disminuyó de 3.75 (un retroceso desde el 3.2 optimizado) a 2.49
• El tiempo por paso mejoró de 176ms a 96ms
• La utilización del ANE aumentó del 3.6% al 6.5%

Cambio Técnico Clave

La mejora más significativa vino de la fusión de núcleos: "Fusionar 3 núcleos ANE en 1 mega-núcleo eliminó 12 viajes de ida y vuelta de IOSurface por paso - ese único cambio superó a todos los ajustes de hiperparámetros combinados". Esta optimización arquitectónica resultó más impactante que los ajustes de parámetros.

Detalles del Flujo de Trabajo

El desarrollador utilizó un enfoque poco convencional:

• Ejecutó experimentos de forma remota, dirigiendo desde su teléfono en momentos breves
• Usó Claude para lluvia de ideas y extraer información de fuentes públicas listadas en el README del repositorio
• Abordó el problema con "atención corta y entrada mínima de tokens" - especulando sobre direcciones en lugar de dictar pasos precisos
• Completó 55 experimentos con "varios casos de escritura real"
• Trabajó solo en modo no destructivo debido a restricciones de permisos ("sin rm -rf /* y similares")

Aprendizaje Principal

Más allá de las mejoras técnicas, el desarrollador señaló: "El aprendizaje principal no es la mejora en sí. Es que la atención corta y la entrada mínima de tokens - lluvia de ideas sobre dirección, no dictar pasos - puede producir ganancias reales y medibles en un problema difícil de sistemas".

El trabajo se realizó en la computadora portátil del desarrollador, y menciona una discrepancia en la tasa de aceptación: "55vs45 no cuadra del todo" en referencia a los resultados de los experimentos.