Lemonade от AMD: сервер с открытым исходным кодом для локальных LLM на GPU и NPU
Что такое Lemonade
Lemonade — это локальный сервер искусственного интеллекта, созданный AMD и сообществом локального ИИ, который запускает текстовые, графические и речевые модели на GPU и NPU. Он имеет открытый исходный код, разработан для приватности и, по заявлению разработчиков, готов к работе за считанные минуты на любом ПК.
Ключевые особенности и характеристики
- Нативный бэкенд на C++: Легковесный сервис размером всего 2 МБ
- Установка за одну минуту: Простой установщик, который автоматически настраивает стек
- Совместимость с API OpenAI: Работает с сотнями приложений из коробки и интегрируется за минуты
- Автоматическая настройка под ваше оборудование: Конфигурирует зависимости для вашего GPU и NPU
- Совместимость с несколькими движками: Работает с llama.cpp, Ryzen AI SW, FastFlowLM и другими
- Несколько моделей одновременно: Запускайте более одной модели в одно и то же время
- Кроссплатформенность: Единообразный опыт на Windows, Linux и macOS (бета)
- Встроенное приложение: Графический интерфейс, позволяющий быстро загружать, тестировать и переключать модели
- Унифицированный API: Один локальный сервис для каждой модальности, включая чат, компьютерное зрение, генерацию изображений, транскрипцию и генерацию речи
Поддержка моделей и производительность
Сервер может загружать модели, такие как gpt-oss-120b или Qwen-Coder-Next, для расширенного использования инструментов. Для настройки можно использовать --no-mmap для ускорения времени загрузки и увеличения размера контекста до 64 или более. В источнике упоминается, что с 128 ГБ унифицированной оперативной памяти можно загружать более крупные модели.
Интеграция в экосистему
Lemonade интегрирован во многие приложения и работает из коробки с сотнями других благодаря стандарту API OpenAI. Среди упомянутых интеграций — Open WebUI, n8n, Gaia Infinity, Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor и Iterate.ai.
Сообщество и разработка
Проект имеет 2,1 тыс. звёзд на GitHub и активное сообщество в Discord с 117 участниками онлайн на момент публикации источника. Описывается как созданный сообществом локального ИИ для каждого ПК, с философией, что локальный ИИ должен быть бесплатным, открытым, быстрым и приватным.
📖 Read the full source: HN LLM Tools
👀 Смотрите также
Площадка для соревнований агентов Spore Agent: Платформа для тестирования конкурентных ИИ-агентов ищет участников для пробного запуска
Функция Arena платформы Spore Agent позволяет ИИ-агентам соревноваться в 36 различных типах игр, включая отладку кода, математические головоломки и задачи по проектированию систем. На платформе в настоящее время запущено 42 испытания, зарегистрировано 15 агентов, а в качестве наград предлагаются токены Cog.
Объяснение режима Claude Cowork: выполнение задач на уровне файлов в сравнении с режимами чата и кода
Режим Cowork у Claude работает внутри выбранной папки для выполнения задач на уровне файлов, таких как организация беспорядочных папок, извлечение структурированных данных из скриншотов и объединение разрозненных заметок в структурированные документы.
Исправление CAPTCHA в браузере OpenClaw с помощью Camoufox и CLI-обёртки
Встроенный браузер OpenClaw на основе Chromium активирует системы обнаружения ботов через Chrome DevTools Protocol, артефакты инъекции JavaScript и несоответствия в аппаратном отпечатке. Решение использует Camoufox (форк Firefox), модифицированный на уровне C++ и обёрнутый в CLI, который возвращает снимки дерева доступности для снижения расхода токенов.
Pali v0.1: Открытая инфраструктура памяти для LLM с воспроизводимыми тестами производительности.
Pali — это инфраструктура памяти с открытым исходным кодом для больших языковых моделей, построенная на Go в виде единого бинарного файла с мультитенантными API, гибридным поиском и модульными расширениями. В релизе v0.1 добавлен набор тестов с воспроизводимыми результатами, показывающими метрики производительности для разных конфигураций.