ScreenMind: ローカルファーストのAIメモリー - コンピュータの全アクティビティをインデックス化

ScreenMindはローカルファーストのAIメモリシステムで、画面を継続的にキャプチャし、会議を文字起こし、音声メモをインデックス化して、コンピューター上でのすべての行動を永続的で検索可能なタイムラインに構築します。知覚ハッシュを使用してコンテンツが変更された場合にのみトリガーし、各フレームをllama.cpp経由でGemma 4 E2Bに渡してビジョン分析、チャット、音声処理を行います。

主な機能

• 画面キャプチャ（知覚ハッシュ付き） — コンテンツが実際に変更された場合のみフレームを保存
• 検索可能なタイムライン — 過去のアクティビティをクエリ：「さっきのエラーメッセージ」「午後3時に何をしていたか？」
• 履歴とのチャット — セッション全体を通した持続的なAIコンテキスト
• 会議の文字起こし — Zoom、Teams、Google Meetを自動検出
• 音声メモ — Gemma 4のオーディオエンコーダーで処理
• 自然言語による自動化 — プレーンな英語のMarkdownで記述
• MCP統合 — ClaudeやCursorに接続

技術スタック

• モデル： Gemma 4 E2B（ビジョン、チャット、音声を処理）
• バックエンド： Python + FastAPI
• ストレージ： SQLite
• 推論： llama.cpp（Q4量子化）
• ハードウェア： 4GB以上のVRAM

作者によると、ビジョン、チャット、音声タスク間のGPUスケジューリングが主要な推論最適化の課題です。プロジェクトはまだ完全に自律的ではなく、ワークフロー駆動型です。検索品質とオンボーディングの摩擦が改善を必要とする領域です。

GitHub: ayushh0110/ScreenMind