Lemonade par AMD : Serveur LLM Local Open Source pour GPU et NPU
Qu'est-ce que Lemonade
Lemonade est un serveur d'IA local développé par AMD et la communauté de l'IA locale qui exécute des modèles de texte, d'image et de parole sur des GPU et NPU. Il est open source, conçu pour être privé et prétend être prêt en quelques minutes sur n'importe quel PC.
Fonctionnalités et spécifications clés
- Backend natif en C++ : Service léger de seulement 2 Mo
- Installation en une minute : Programme d'installation simple qui configure automatiquement la pile
- Compatible avec l'API OpenAI : Fonctionne avec des centaines d'applications prêtes à l'emploi et s'intègre en quelques minutes
- Configuration automatique pour votre matériel : Configure les dépendances pour votre GPU et NPU
- Compatibilité multi-moteurs : Fonctionne avec llama.cpp, Ryzen AI SW, FastFlowLM, et plus encore
- Plusieurs modèles simultanément : Exécutez plus d'un modèle en même temps
- Multiplateforme : Une expérience cohérente sur Windows, Linux et macOS (bêta)
- Application intégrée : Une interface graphique qui vous permet de télécharger, tester et changer rapidement de modèles
- API unifiée : Un service local unique pour chaque modalité incluant le chat, la vision, la génération d'images, la transcription et la génération vocale
Support des modèles et performances
Le serveur peut charger des modèles comme gpt-oss-120b ou Qwen-Coder-Next pour une utilisation avancée d'outils. Pour l'ajustement, vous pouvez utiliser --no-mmap pour accélérer les temps de chargement et augmenter la taille du contexte à 64 ou plus. La source mentionne qu'avec 128 Go de RAM unifiée, vous pouvez charger des modèles plus volumineux.
Intégration à l'écosystème
Lemonade est intégré dans de nombreuses applications et fonctionne prêt à l'emploi avec des centaines d'autres grâce au standard de l'API OpenAI. Les intégrations mentionnées incluent Open WebUI, n8n, Gaia Infinity, Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor, et Iterate.ai.
Communauté et développement
Le projet compte 2,1k étoiles sur GitHub et une communauté Discord active avec 117 membres en ligne au moment de la source. Il est décrit comme étant construit par la communauté de l'IA locale pour chaque PC, avec la philosophie que l'IA locale devrait être gratuite, ouverte, rapide et privée.
📖 Read the full source: HN LLM Tools
👀 See Also
Skillware ajoute prompt_rewriter pour la compression déterministe des tokens dans les boucles d'agents de l'API Claude.
Skillware a intégré une nouvelle compétence prompt_rewriter qui compresse les prompts de 50 à 80 % avant de les envoyer à l'API Claude, réduisant les coûts dans les boucles agentiques tout en maintenant un comportement stable grâce à une compression déterministe.
Construction de syntaqlite : Un projet d'outils de développement SQLite créé avec l'assistance de l'IA
Lalit Maganti a construit syntaqlite, un ensemble d'outils de développement pour SQLite, en trois mois en utilisant des agents d'IA de codage après l'avoir désiré pendant huit ans. Le projet nécessitait d'analyser le SQL exactement comme SQLite, ce qui implique d'adapter le code source dense en C de SQLite avec plus de 400 règles de grammaire.
certctl : Plateforme de gestion du cycle de vie des certificats auto-hébergée, offrant 78 points d'API pour l'automatisation par agents IA.
certctl est une plateforme de gestion du cycle de vie des certificats auto-hébergée, développée en Go et TypeScript, qui expose 78 points d'API REST pour la gestion des certificats. La plateforme est indépendante des émetteurs et des cibles, avec un serveur MCP prévu pour exposer toutes les fonctionnalités en tant qu'outils MCP natifs.
Cloken : Une extension Chrome qui affiche l'utilisation en temps réel du contexte de Claude en pourcentage
Cloken est une extension Chrome gratuite qui affiche l'utilisation de votre contexte de chat Claude.ai actuel sous forme de pourcentage — y compris les messages, fichiers, images et invite système.