Lemonade от AMD: сервер с открытым исходным кодом для локальных LLM на GPU и NPU
Что такое Lemonade
Lemonade — это локальный сервер искусственного интеллекта, созданный AMD и сообществом локального ИИ, который запускает текстовые, графические и речевые модели на GPU и NPU. Он имеет открытый исходный код, разработан для приватности и, по заявлению разработчиков, готов к работе за считанные минуты на любом ПК.
Ключевые особенности и характеристики
- Нативный бэкенд на C++: Легковесный сервис размером всего 2 МБ
- Установка за одну минуту: Простой установщик, который автоматически настраивает стек
- Совместимость с API OpenAI: Работает с сотнями приложений из коробки и интегрируется за минуты
- Автоматическая настройка под ваше оборудование: Конфигурирует зависимости для вашего GPU и NPU
- Совместимость с несколькими движками: Работает с llama.cpp, Ryzen AI SW, FastFlowLM и другими
- Несколько моделей одновременно: Запускайте более одной модели в одно и то же время
- Кроссплатформенность: Единообразный опыт на Windows, Linux и macOS (бета)
- Встроенное приложение: Графический интерфейс, позволяющий быстро загружать, тестировать и переключать модели
- Унифицированный API: Один локальный сервис для каждой модальности, включая чат, компьютерное зрение, генерацию изображений, транскрипцию и генерацию речи
Поддержка моделей и производительность
Сервер может загружать модели, такие как gpt-oss-120b или Qwen-Coder-Next, для расширенного использования инструментов. Для настройки можно использовать --no-mmap для ускорения времени загрузки и увеличения размера контекста до 64 или более. В источнике упоминается, что с 128 ГБ унифицированной оперативной памяти можно загружать более крупные модели.
Интеграция в экосистему
Lemonade интегрирован во многие приложения и работает из коробки с сотнями других благодаря стандарту API OpenAI. Среди упомянутых интеграций — Open WebUI, n8n, Gaia Infinity, Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor и Iterate.ai.
Сообщество и разработка
Проект имеет 2,1 тыс. звёзд на GitHub и активное сообщество в Discord с 117 участниками онлайн на момент публикации источника. Описывается как созданный сообществом локального ИИ для каждого ПК, с философией, что локальный ИИ должен быть бесплатным, открытым, быстрым и приватным.
📖 Read the full source: HN LLM Tools
👀 Смотрите также
JobPilot: Плагин Claude Code для автоматической подачи заявок на вакансии
JobPilot — это плагин Claude Code, который автоматизирует поиск работы и процессы подачи заявок с использованием автоматизации браузера Playwright. Он включает команды для поиска на досках вакансий, автоматического заполнения заявок, создания сопроводительных писем и отслеживания статистики подачи заявок.
agentcache: Библиотека Python для кэширования префиксов в мультиагентных LLM
agentcache — это библиотека Python, которая позволяет многозадачным LLM-фреймворкам совместно использовать кэшированные префиксы промптов, достигая до 76% попаданий в кэш и сокращая время вывода более чем вдвое в тестах с GPT-4o-mini.
Heren Godot MCP: Постоянный демон WebSocket сокращает задержку взаимодействия AI–Godot до ~20 мс
Heren — это новый MCP-сервер для Godot, который поддерживает легковесный WebSocket-демон, обеспечивая выполнение операций за ~20 мс без ожидания полного холодного запуска движка. Он предоставляет 15 инструментов для управления сценой, отладки, создания скриншотов с GPU-ускорением и автоматического завершения работы после 3 минут бездействия.
Коллекция из 177 шаблонов SOUL.md для OpenClaw, организованных в 24 категории.
Разработчик собрал 177 готовых к использованию шаблонов SOUL.md для агентов OpenClaw по 24 категориям, включая Маркетинг, Разработку, Бизнес, DevOps, Финансы, Креатив, Данные, Безопасность, Здравоохранение, Юридические вопросы, HR и Образование. Все шаблоны лицензированы по MIT и доступны на GitHub.