A Otimização da ANE por Meio de Experimentos de IA Direcionados por Telefone Mostra Benefícios da Fusão de Kernel

Um desenvolvedor conduziu 55 experimentos de otimização no fork autoresearch-ane, conduzindo o processo principalmente a partir de seu telefone em um sábado. O trabalho focou em melhorias de desempenho do Apple Neural Engine (ANE) por meio de otimização de kernel e mudanças arquiteturais.

Melhorias de Desempenho

Os experimentos resultaram em ganhos mensuráveis em várias métricas:

• A perda de validação diminuiu de 3,75 (um retrocesso do 3,2 otimizado) para 2,49
• O tempo por etapa melhorou de 176ms para 96ms
• A utilização do ANE aumentou de 3,6% para 6,5%

Mudança Técnica Principal

A melhoria mais significativa veio da fusão de kernels: "Fundir 3 kernels ANE em 1 mega-kernel eliminou 12 viagens de ida e volta do IOSurface por etapa - essa única mudança superou todos os ajustes de hiperparâmetros combinados." Essa otimização arquitetural provou ser mais impactante do que ajustes de parâmetros.

Detalhes do Fluxo de Trabalho

O desenvolvedor usou uma abordagem não convencional:

• Executou experimentos remotamente, conduzindo a partir de seu telefone em momentos breves
• Usou o Claude para brainstorming e extração de insights de fontes públicas listadas no README do repositório
• Abordou o problema com "atenção curta e entrada mínima de tokens" - especulando sobre direções em vez de ditar etapas precisas
• Completou 55 experimentos com "vários casos de digitação real"
• Trabalhou apenas em modo não destrutivo devido a restrições de permissão ("sem rm -rf /* e similares")

Principal Aprendizado

Além das melhorias técnicas, o desenvolvedor observou: "O principal aprendizado não é a melhoria em si. É que atenção curta e entrada mínima de tokens - brainstorming de direção, não ditando etapas - pode produzir ganhos reais e mensuráveis em um problema difícil de sistemas."

O trabalho foi conduzido no laptop do desenvolvedor, e ele menciona uma discrepância na taxa de aceitação: "55vs45 não batendo exatamente" em referência aos resultados dos experimentos.