Portage de l'Autoresearch de Karpathy sur le Neural Engine d'Apple pour une meilleure efficacité énergétique par watt
Un nouveau projet prototype combine l'autoresearch d'Andrej Karpathy avec les performances rétro-ingéniérées du Neural Engine d'Apple (ANE), disponible sur github.com/fiale-plus/autoresearch-ane. L'intérêt principal est d'atteindre un meilleur débit par watt par rapport aux API officielles.
Détails du projet
Le projet a été décrit comme "assemblant les concepts" et est actuellement un prototype nécessitant des tests plus longs. L'auteur crédite Claude pour l'implémentation et reconnaît miolini pour l'idée originale du portage MacOS.
Références techniques
- Autoresearch : github.com/karpathy/autoresearch - Le projet original d'Andrej Karpathy
- Projet ANE : github.com/maderix/ANE - Performances rétro-ingéniérées du Neural Engine d'Apple
- Portage MacOS : github.com/miolini/autoresearch-macos - Implémentation MacOS originale
Le projet représente une approche expérimentale d'optimisation de l'utilisation matérielle, avec l'attente que les performances s'amélioreront à mesure que le projet ANE sous-jacent mûrira. Ceci est particulièrement pertinent pour les développeurs travaillant sur le matériel Apple silicon qui souhaitent maximiser l'efficacité de l'inférence locale.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
SpruceChat exécute un LLM de 0,5 milliard de paramètres directement sur les consoles portables Miyoo grâce à llama.cpp.
SpruceChat exécute Qwen2.5-0.5B entièrement sur l'appareil sur des consoles de jeu portables en utilisant llama.cpp, sans nécessiter de cloud ou de WiFi. Sur un Miyoo A30 (quadricœur Cortex-A7), il se charge en ~60 secondes et génère à ~1-2 tokens/seconde.
SymDex : l'indexeur de code MCP open source réduit l'utilisation de jetons des agents IA
SymDex est un indexeur de code MCP open-source qui pré-indexe les bases de code pour aider les agents d'IA de codage à trouver des fonctions et des classes sans lire des fichiers entiers, réduisant l'utilisation de tokens d'environ 97 % par recherche selon les benchmarks du développeur.
Orc : Orchestrateur Multi-Projets Open Source pour Agents d'IA de Codage
Orc est un orchestrateur au niveau du système d'exploitation qui coordonne des agents de codage IA sur plusieurs projets en utilisant bash, tmux et des git worktrees. Il résout les conflits de fusion, le travail dupliqué et la surcharge de coordination grâce à un système de relecture à deux niveaux et une consommation nulle de tokens pour l'orchestration.
Cocall.ai MCP : Appels sortants avec escalade humaine en temps réel
Cocall.ai est un MCP pour Claude qui permet d'effectuer des appels sortants avec un modèle parole-à-parole en duplex intégral. Il peut faire une pause en cours d'appel pour vous poser une question spécifique au lieu de deviner, naviguer dans les menus IVR et vous transférer l'appel si nécessaire.