SpruceChatは、llama.cppを介してMiyooハンドヘルド端末上で0.5B LLMをオンデバイスで動作させます。
概要
SpruceChatは、llama.cppを使用してQwen2.5-0.5B言語モデルを完全にオンデバイスで複数の携帯型ゲーム機上で動作させるプロジェクトです。初期設定後はクラウド接続やWiFiを必要としません。
主な詳細
モデルは初回起動後にRAMに常駐し、生成時にはトークンが一つずつストリーミングされます。Miyoo A30、Miyoo Flip、Trimui Brick、Trimui Smart Proで動作します。
Miyoo A30（Cortex-A7クアッドコアプロセッサ搭載）でのパフォーマンス：
- モデルロード：初回起動時約60秒
- 生成速度：約1-2トークン/秒
- プロンプト評価：約3トークン/秒
開発者は「高速ではないが、ストリーミングされるため思考過程を観察できる」と述べており、64ビットデバイスの方が速いと指摘しています。
このAIは「トウヒの木のような性格：忍耐強く、急がず、全てのものに静かに驚嘆する」と表現されています。
デバイスがWiFiに接続されている場合、ブラウザからllama-serverにアクセスして、スマートフォンやノートパソコンの実キーボードでチャットすることも可能です。
リポジトリはhttps://github.com/RED-BASE/SpruceChatにあります。このプロジェクトはClaudeの助けを借りて構築され、デバイスサポート拡大に取り組む共同作業者も既に参加しています。初回リリースではarmhfとaarch64バイナリの両方が提供され、モデルも同梱されています。
📖 Read the full source: r/LocalLLaMA
👀 See Also
Claudeワークフローライブラリ、Reddit発のワークフローを自動追跡・評価開始
主要なサブレディットからのClaudeおよびClaude Codeワークフローを検索可能で自動更新されるインデックス。手順、アーティファクト、コミュニティ評価付き。
Claude Code用のポータブルエンジニアリングシステム：フック、専門エージェント、自己改善機能を搭載
ある開発者が、Claude Codeに繰り返し指示を出すことにうんざりし、~/.claude/に常駐し、すべてのプロジェクトに自動的に適用されるポータブルなエンジニアリングシステムを構築しました。このシステムは、650行の憲法、危険なコマンドをブロックする決定論的フック、3つの専門エージェント、そして自己改善型の複合エンジニアリングアプローチを特徴としています。
プロジェクトレジャー：AIコーディングエージェントのためのヒューマン・イン・ザ・ループ記憶システム
GitHubプロジェクト「project-ledger」は、AIコーディングエージェントがコードベースについて記憶する内容を人間が管理するためのヒューマン・イン・ザ・ループシステムを提供します。その核心的な課題は、エージェントが何が重要かを判断できないことです。実装上のバグとアーキテクチャ上の欠陥を同じように扱い、何を変更したかではなく、何が重要かを記録します。
構造化されたClaudeスキルによるB2B SaaS成長ワークフロー
開発者が、B2B SaaSの成長に関する知識をプレイブックやケーススタディとして体系化し、Claudeの出力品質を向上させるClaude Skillをオープンソース化しました。このリポジトリには、5つのSaaSケーススタディ、4段階の成長フライホイール、および6つの体系化されたプレイブックが含まれています。