오픈 소스 로컬 LLM 서버 Lemonade: GPU·NPU에서 다중 모델 실행

Lemonade란 무엇인가

Lemonade는 AMD와 로컬 AI 커뮤니티가 구축한 로컬 AI 서버로, GPU와 NPU에서 텍스트, 이미지, 음성 모델을 실행합니다. 오픈 소스이며, 개인 정보 보호를 위해 설계되었으며, 어떤 PC에서도 몇 분 안에 준비된다고 주장합니다.

주요 기능 및 사양

네이티브 C++ 백엔드: 2MB에 불과한 경량 서비스
1분 설치: 스택을 자동으로 설정하는 간단한 설치 프로그램
OpenAI API 호환: 수백 개의 앱과 즉시 작동하며 몇 분 안에 통합 가능
하드웨어 자동 구성: GPU와 NPU에 대한 종속성을 구성
다중 엔진 호환성: llama.cpp, Ryzen AI SW, FastFlowLM 등과 작동
동시 다중 모델 실행: 한 번에 둘 이상의 모델 실행
크로스 플랫폼: Windows, Linux, macOS(베타)에서 일관된 경험
내장 앱: 모델을 빠르게 다운로드, 시험, 전환할 수 있는 GUI
통합 API: 채팅, 비전, 이미지 생성, 전사, 음성 생성 등 모든 양식을 위한 하나의 로컬 서비스

모델 지원 및 성능

이 서버는 고급 도구 사용을 위해 gpt-oss-120b나 Qwen-Coder-Next와 같은 모델을 로드할 수 있습니다. 튜닝을 위해 --no-mmap을 사용하여 로드 시간을 단축하고 컨텍스트 크기를 64 이상으로 늘릴 수 있습니다. 소스에 따르면 128GB의 통합 RAM으로 더 큰 모델을 로드할 수 있습니다.

생태계 통합

Lemonade는 많은 앱에 통합되어 있으며 OpenAI API 표준 덕분에 수백 개의 앱과 즉시 작동합니다. 언급된 통합에는 Open WebUI, n8n, Gaia Infinity, Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor, Iterate.ai가 포함됩니다.

커뮤니티 및 개발

이 프로젝트는 GitHub에서 2.1k 스타를 보유하고 있으며, 소스 작성 시점에 117명이 온라인 상태인 활발한 Discord 커뮤니티가 있습니다. 로컬 AI가 무료, 오픈, 빠르고, 개인 정보 보호가 되어야 한다는 철학으로 모든 PC를 위해 로컬 AI 커뮤니티가 구축한 것으로 설명됩니다.

📖 Read the full source: HN LLM Tools