電話制御AI実験によるANE最適化でカーネル融合の利点が明らかに

ある開発者が土曜日に主にスマートフォンからプロセスを主導しながら、autoresearch-aneフォークで55件の最適化実験を行いました。この作業は、カーネル最適化とアーキテクチャの変更を通じてApple Neural Engine（ANE）のパフォーマンス向上に焦点を当てました。

パフォーマンスの向上

実験により、いくつかの指標で測定可能な改善が得られました：

• 検証損失が3.75（最適化された3.2からの後退）から2.49に減少
• ステップ時間が176msから96msに改善
• ANE利用率が3.6%から6.5%に向上

主要な技術的変更

最も重要な改善はカーネル融合からもたらされました：「3つのANEカーネルを1つのメガカーネルに融合することで、ステップごとに12回のIOSurface往復を排除しました。この単一の変更は、すべてのハイパーパラメータ調整を合わせたものよりも効果的でした。」このアーキテクチャの最適化は、パラメータ調整よりも大きな影響を与えました。

ワークフローの詳細

開発者は非従来型のアプローチを使用しました：

• 実験をリモートで実行し、短い時間でスマートフォンから主導
• Claudeをブレインストーミングに使用し、リポジトリのREADMEに記載された公開情報から洞察を引き出す
• 「短い注意力と最小限のトークン入力」で問題に取り組み、具体的な手順を指示するのではなく方向性を推測
• 「実際にタイピングしたケースがいくつかある」状態で55件の実験を完了
• 権限制約のため（「rm -rf /*などはなし」）、非破壊モードでのみ作業

主な学び

技術的な改善を超えて、開発者は次のように述べています：「主な学びは改善そのものではありません。短い注意力と最小限のトークン入力、つまり手順を指示するのではなく方向性をブレインストーミングすることが、困難なシステム問題で実際に測定可能な成果を生み出せるということです。」

この作業は開発者のノートパソコンで行われ、実験結果に関して「55対45で計算が合わない」という受容率の不一致について言及しています。