SpruceChat은 llama.cpp를 통해 Miyoo 휴대용 기기에서 0.5B LLM을 온디바이스로 실행합니다.

이것이 무엇인가요

SpruceChat는 llama.cpp를 사용하여 여러 휴대용 게임 콘솔에서 Qwen2.5-0.5B 언어 모델을 완전히 온디바이스로 실행하는 프로젝트입니다. 초기 설정 후에는 클라우드 연결이나 WiFi가 필요하지 않습니다.

주요 세부사항

모델은 첫 부팅 후 RAM에 상주하며, 생성 중에 토큰이 하나씩 스트리밍됩니다. Miyoo A30, Miyoo Flip, Trimui Brick, Trimui Smart Pro에서 실행됩니다.

Miyoo A30(Cortex-A7 쿼드코어 프로세서 탑재)의 성능:

• 모델 로드: 첫 부팅 시 약 60초
• 생성 속도: 초당 약 1-2 토큰
• 프롬프트 평가: 초당 약 3 토큰

개발자는 빠르지 않지만 스트리밍 방식으로 작동하여 생각하는 과정을 볼 수 있다고 언급했습니다. 64비트 장치가 더 빠르다고도 언급했습니다.

이 AI는 "전나무의 성격: 인내심이 강하고, 서두르지 않으며, 모든 것에 조용히 감탄한다"고 묘사됩니다.

장치가 WiFi에 연결되어 있다면, 휴대폰이나 노트북의 브라우저에서 llama-server에 접속하여 실제 키보드로 채팅할 수도 있습니다.

저장소는 https://github.com/RED-BASE/SpruceChat에 있습니다. 이 프로젝트는 Claude의 도움으로 구축되었으며, 이미 장치 지원을 확장하기 위해 협력자가 작업 중입니다. 첫 번째 릴리스는 armhf와 aarch64 바이너리 모두로 출시되었으며 모델이 포함되어 있습니다.