Lightning MLX: быстрый локальный AI-движок для агентного использования на Apple Silicon выдает 220 токенов/с на Qwen 35B-A3B
Новый движок вывода с открытым исходным кодом для Apple Silicon под названием Lightning MLX заявляет, что он является самым быстрым локальным движком ИИ, специально оптимизированным для агентных рабочих процессов — агентов кодирования, вызова инструментов и задач с коротким временем выполнения. Проект доступен на GitHub по адресу samuelfaj/lightning-mlx.
Результаты тестов
Автор тестировал на MacBook Max M5 с 128 ГБ ОЗУ и сообщил следующие скорости генерации токенов:
- Qwen3.6-27B: 40,67 ток/с
- Qwen3.6-35B-A3B: 220,86 ток/с
Эти результаты показывают, что движок особенно эффективен для архитектуры смеси экспертов, используемой в модели Qwen3.6-35B-A3B, которая активирует только часть параметров на каждый токен.
Ключевые особенности
- Оптимизирован для агентных сценариев с короткими циклами — генерация кода, вызовы инструментов и быстрые циклы вывода
- Включает предустановленную конфигурацию под названием MTPLX (пользовательские параметры сэмплирования); автор ищет отзывы о том, подходят ли эти настройки для продакшна
- Открытый исходный код под лицензией MIT (предположительно) на GitHub
Запрос обратной связи
Создатель активно просит сообщество предоставить:
- Более качественные тестовые сценарии для локальных агентов кодирования
- Мнения о предустановленных настройках MTPLX
- Результаты тестов на других конфигурациях Apple Silicon (например, M1, M2, M3, M4, разные объемы ОЗУ)
Для кого это
Для разработчиков, запускающих локальные LLM на Apple Silicon для агентных рабочих процессов кодирования, которым нужна максимальная скорость вывода.
📖 Источник: r/LocalLLaMA
👀 Смотрите также
Обсуждение на Reddit: Файлы Identity.md недостаточны для стабильности личности ИИ-сотрудника без надлежащей архитектуры модели.
В обсуждении на Reddit утверждается, что корректировка файлов identity.md для предотвращения смешения личностей в командах ИИ-сотрудников неэффективна, если базовая архитектура модели лишь имитирует разделение ролей. В посте рекомендуется использовать бэкенд Minimax M2.7, в который осознание границ было заложено в базовое обучение через более 100 циклов самоэволюции.
AutoProber: автоматизация летающих зондов на основе искусственного интеллекта для аппаратного взлома
AutoProber — это автоматизированный стек летающих зондов для хакеров аппаратного обеспечения, который позволяет ИИ-агентам обнаруживать цели, сопоставлять изображения с микроскопа, выполнять движения на ЧПУ с контролем безопасности, проверять зонды и проводить контролируемое зондирование контактов. Он включает код управления на Python, веб-панель управления, CAD-файлы и работает с контроллерами ЧПУ GRBL, USB-микроскопами и мониторингом безопасности через осциллограф.
ClamBot: ИИ-агент выполняет код, сгенерированный LLM, в песочнице WASM для обеспечения безопасности
ClamBot — это фреймворк для AI-агентов, который выполняет весь код, сгенерированный LLM, в песочнице WebAssembly с использованием QuickJS в Wasmtime, устраняя необходимость в вызовах exec() или подпроцессов. Он включает шлюз одобрения для вызовов инструментов, постоянное кэширование скриптов в виде «clams» и поддерживает несколько провайдеров LLM.
Зубная щетка: открытый инструмент проверки фактов в реальном времени на основе API Claude Opus и Sonnet
Toothcomb — это инструмент с открытым исходным кодом, который принимает стенограмму речи, проверяет факты, обнаруживает логические ошибки и манипулятивный язык с помощью Claude Opus API, а также поддерживает потоковую передачу с микрофона в реальном времени.