Портирование Autoresearch от Karpathy на Apple Neural Engine для повышения производительности на ватт
Новый прототипный проект объединяет автоисследования Андрея Карпати с обратно спроектированной производительностью Apple Neural Engine (ANE), доступный по адресу github.com/fiale-plus/autoresearch-ane. Основное преимущество — достижение лучшей пропускной способности на ватт по сравнению с официальными API.
Детали проекта
Проект был описан как «склеивание концепций вместе» и в настоящее время является прототипом, требующим более длительных тестовых прогонов. Автор благодарит Claude за реализацию и признаёт идею оригинального порта для MacOS от miolini.
Технические ссылки
- Autoresearch: github.com/karpathy/autoresearch — оригинальный проект Андрея Карпати
- ANE Project: github.com/maderix/ANE — обратно спроектированная производительность Apple Neural Engine
- MacOS Port: github.com/miolini/autoresearch-macos — оригинальная реализация для MacOS
Проект представляет собой экспериментальный подход к оптимизации использования аппаратного обеспечения с ожиданием, что производительность улучшится по мере развития базового проекта ANE. Это особенно актуально для разработчиков, работающих на оборудовании Apple silicon, которые хотят максимизировать эффективность локального вывода.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Бенчмарк квантизации Qwen 3.6 27B: Q4_K_M превосходит Q8_0 по практическим компромиссам
Оценка Qwen 3.6 27B в квантованиях BF16, Q4_K_M и Q8_0 GGUF на задачах HumanEval, HellaSwag и BFCL. Q4_K_M обеспечивает точность, близкую к BF16, при 48% меньшем потреблении RAM, скорости в 1,45 раза выше и размере файла на 68,8% меньше.
CK Search: Локальный инструмент семантического поиска с интеграцией сервера MCP
CK Search — это локальный инструмент семантического поиска со встроенным MCP-сервером, который индексирует любые текстовые каталоги без зависимости от облачных сервисов. Инструмент может использоваться ИИ-агентами через MCP, а исходный материал содержит практическое руководство по настройке, преимуществам и ограничениям в сравнении с grep.
Клодлитика: Самостоятельно размещаемая панель для отслеживания использования токенов кода и затрат в Claude
Claudlytics — это веб-сервер на Node.js, который читает локальные .jsonl файлы сессий Claude Code для отслеживания использования токенов и затрат в реальном времени. Он работает локально на 127.0.0.1 и доступен через SSH-туннель для удалённых серверов.
PromptForest: Обнаружение инъекций промптов с приоритетом локальности и учетом неопределенности
PromptForest — это легковесная библиотека с приоритетом локальности, которая обнаруживает инъекции запросов и джейлбрейки, классифицируя их и оценивая степень уверенности, все это без увеличения средней задержки запросов.