Karpathys Autoresearch auf Apple Neural Engine portiert für bessere Durchsatzleistung pro Watt
Ein neues Prototyp-Projekt kombiniert Andrej Karpathys Autoresearch mit reverse-engineerter Apple Neural Engine (ANE)-Leistung, verfügbar unter github.com/fiale-plus/autoresearch-ane. Der Hauptreiz liegt darin, einen besseren Durchsatz pro Watt im Vergleich zu offiziellen APIs zu erreichen.
Projektdetails
Das Projekt wurde als "Zusammenfügen der Konzepte" beschrieben und ist derzeit ein Prototyp, der längere Testläufe benötigt. Der Autor würdigt Claude für die Umsetzung und dankt miolini für die ursprüngliche Idee des MacOS-Ports.
Technische Referenzen
- Autoresearch: github.com/karpathy/autoresearch - Andrej Karpathys ursprüngliches Projekt
- ANE-Projekt: github.com/maderix/ANE - Reverse-engineerte Apple Neural Engine-Leistung
- MacOS-Port: github.com/miolini/autoresearch-macos - Ursprüngliche MacOS-Implementierung
Das Projekt stellt einen experimentellen Ansatz zur Hardwarenutzungsoptimierung dar, mit der Erwartung, dass die Leistung sich verbessert, wenn das zugrundeliegende ANE-Projekt reift. Dies ist besonders relevant für Entwickler, die mit Apple-Silicon-Hardware arbeiten und die lokale Inferenzeffizienz maximieren möchten.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Kanari: KI-QA-Agent für automatisierte Tests basierend auf Codeänderungen
Canary ist ein KI-QA-Agent, der Codebasen liest, Pull-Request-Diffs analysiert und End-to-End-Tests für betroffene Benutzerabläufe generiert. Er verbindet sich mit Vorschauumgebungen, führt Tests durch und kommentiert die Ergebnisse direkt in PRs mit Aufzeichnungen.
Semble: Codesuche für KI-Agenten mit 98 % weniger Tokens als grep+read
Semble ist eine quelloffene Code-Suchbibliothek für KI-Agenten, die statische Model2Vec-Embeddings mit BM25 kombiniert und vollständig auf CPU läuft. Es indiziert ein Repository in ~250ms und beantwortet Suchanfragen in ~1.5ms, wobei es eine NDCG@10 von 0.854 erreicht – 99% der Qualität eines 137M-Parameter-Transformers – bei gleichzeitig 98% weniger Token als grep+read.
Engram Memory SDK: Graph-basierte Speicherlösung für KI-Agenten mit lokalen Modellen
Engram Memory SDK ist ein Open-Source-Graphgedächtnissystem für KI-Agenten, das mit lokalen Modellen über LiteLLM funktioniert. Es benötigt nur einen LLM-Aufruf für die Aufnahme und verwendet dann Vektorsuche und Graphendurchlauf für den Abruf ohne laufende LLM-Kosten.
Phaselock: Ein KI-Agenten-Steuerungssystem inspiriert von Erziehungstechniken
Phaselock ist eine Open-Source-Agent-Skill, die vier Kontrollmechanismen für KI-Codierungsagenten implementiert: explizite Gates vor Aktionen, sofortiges Feedback bei Fehlern, eingeschränkte Auswahlmöglichkeiten und mechanische Regelumsetzung. Es funktioniert mit Claude Code, Cursor, Windsurf und jedem Tool, das Hooks unterstützt.