전화 기반 AI 실험을 통한 ANE 최적화는 커널 융합의 이점을 보여줍니다

한 개발자가 토요일에 주로 휴대폰에서 프로세스를 주도하며 autoresearch-ane 포크에서 55개의 최적화 실험을 수행했습니다. 이 작업은 커널 최적화와 아키텍처 변경을 통해 Apple Neural Engine(ANE) 성능 향상에 초점을 맞췄습니다.

성능 향상

실험 결과 여러 지표에서 측정 가능한 성과를 얻었습니다:

• 검증 손실이 3.75(최적화된 3.2에서 회귀)에서 2.49로 감소
• 단계 시간이 176ms에서 96ms로 개선
• ANE 활용률이 3.6%에서 6.5%로 증가

핵심 기술적 변경

가장 중요한 개선은 커널 융합에서 비롯되었습니다: "3개의 ANE 커널을 1개의 메가 커널로 융합하여 단계당 12번의 IOSurface 왕복을 제거했습니다 - 이 단일 변경 사항이 모든 하이퍼파라미터 조정을 합친 것보다 더 큰 효과를 냈습니다." 이 아키텍처 최적화는 매개변수 조정보다 더 큰 영향을 미쳤습니다.

워크플로우 세부사항

개발자는 비전통적인 접근 방식을 사용했습니다:

• 원격으로 실험을 실행하고, 짧은 순간에 휴대폰에서 주도
• 클로드를 사용하여 브레인스토밍하고 저장소 README에 나열된 공개 소스에서 통찰력 도출
• "짧은 주의력과 최소한의 토큰 입력"으로 문제에 접근 - 정확한 단계를 지시하기보다 방향성을 추측
• "실제 타이핑이 필요한 몇 가지 경우"를 포함하여 55개의 실험 완료
• 권한 제약으로 인해 비파괴 모드로만 작업("rm -rf /* 등 불가")

주요 학습점

기술적 개선을 넘어서, 개발자는 다음과 같이 언급했습니다: "주요 학습점은 개선 자체가 아닙니다. 짧은 주의력과 최소한의 토큰 입력 - 단계를 지시하기보다 방향성을 브레인스토밍하는 것이 - 어려운 시스템 문제에서 실제 측정 가능한 성과를 낼 수 있다는 점입니다."

이 작업은 개발자의 노트북에서 수행되었으며, 실험 결과와 관련하여 "55vs45가 수학적으로 정확히 맞지 않음"이라는 수용률 불일치를 언급했습니다.