Lemonade от AMD: сервер с открытым исходным кодом для локальных LLM на GPU и NPU

Что такое Lemonade

Lemonade — это локальный сервер искусственного интеллекта, созданный AMD и сообществом локального ИИ, который запускает текстовые, графические и речевые модели на GPU и NPU. Он имеет открытый исходный код, разработан для приватности и, по заявлению разработчиков, готов к работе за считанные минуты на любом ПК.

Ключевые особенности и характеристики

• Нативный бэкенд на C++: Легковесный сервис размером всего 2 МБ
• Установка за одну минуту: Простой установщик, который автоматически настраивает стек
• Совместимость с API OpenAI: Работает с сотнями приложений из коробки и интегрируется за минуты
• Автоматическая настройка под ваше оборудование: Конфигурирует зависимости для вашего GPU и NPU
• Совместимость с несколькими движками: Работает с llama.cpp, Ryzen AI SW, FastFlowLM и другими
• Несколько моделей одновременно: Запускайте более одной модели в одно и то же время
• Кроссплатформенность: Единообразный опыт на Windows, Linux и macOS (бета)
• Встроенное приложение: Графический интерфейс, позволяющий быстро загружать, тестировать и переключать модели
• Унифицированный API: Один локальный сервис для каждой модальности, включая чат, компьютерное зрение, генерацию изображений, транскрипцию и генерацию речи

Поддержка моделей и производительность

Сервер может загружать модели, такие как gpt-oss-120b или Qwen-Coder-Next, для расширенного использования инструментов. Для настройки можно использовать --no-mmap для ускорения времени загрузки и увеличения размера контекста до 64 или более. В источнике упоминается, что с 128 ГБ унифицированной оперативной памяти можно загружать более крупные модели.

Интеграция в экосистему

Lemonade интегрирован во многие приложения и работает из коробки с сотнями других благодаря стандарту API OpenAI. Среди упомянутых интеграций — Open WebUI, n8n, Gaia Infinity, Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor и Iterate.ai.

Сообщество и разработка

Проект имеет 2,1 тыс. звёзд на GitHub и активное сообщество в Discord с 117 участниками онлайн на момент публикации источника. Описывается как созданный сообществом локального ИИ для каждого ПК, с философией, что локальный ИИ должен быть бесплатным, открытым, быстрым и приватным.