ScreenMind: ローカルファーストのAIメモリー - コンピュータの全アクティビティをインデックス化

✍️ OpenClawRadar📅 公開日: June 8, 2026🔗 Source
ScreenMind: ローカルファーストのAIメモリー - コンピュータの全アクティビティをインデックス化
Ad

ScreenMindはローカルファーストのAIメモリシステムで、画面を継続的にキャプチャし、会議を文字起こし、音声メモをインデックス化して、コンピューター上でのすべての行動を永続的で検索可能なタイムラインに構築します。知覚ハッシュを使用してコンテンツが変更された場合にのみトリガーし、各フレームをllama.cpp経由でGemma 4 E2Bに渡してビジョン分析、チャット、音声処理を行います。

主な機能

  • 画面キャプチャ(知覚ハッシュ付き) — コンテンツが実際に変更された場合のみフレームを保存
  • 検索可能なタイムライン — 過去のアクティビティをクエリ:「さっきのエラーメッセージ」「午後3時に何をしていたか?」
  • 履歴とのチャット — セッション全体を通した持続的なAIコンテキスト
  • 会議の文字起こし — Zoom、Teams、Google Meetを自動検出
  • 音声メモ — Gemma 4のオーディオエンコーダーで処理
  • 自然言語による自動化 — プレーンな英語のMarkdownで記述
  • MCP統合 — ClaudeやCursorに接続

技術スタック

  • モデル: Gemma 4 E2B(ビジョン、チャット、音声を処理)
  • バックエンド: Python + FastAPI
  • ストレージ: SQLite
  • 推論: llama.cpp(Q4量子化)
  • ハードウェア: 4GB以上のVRAM

作者によると、ビジョン、チャット、音声タスク間のGPUスケジューリングが主要な推論最適化の課題です。プロジェクトはまだ完全に自律的ではなく、ワークフロー駆動型です。検索品質とオンボーディングの摩擦が改善を必要とする領域です。

GitHub: ayushh0110/ScreenMind

📖 全文ソースを読む: r/LocalLLaMA

Ad

👀 See Also

companion-capture: Claude Codeの一時的な吹き出しを保存するツール
Tools

companion-capture: Claude Codeの一時的な吹き出しを保存するツール

companion-captureは、Claude Codeのコンパニオンキャラクターの吹き出しメッセージがターミナルから消える前にキャプチャするオープンソースツールです。VT100画面バッファの解析でカーソル位置を追跡し、メッセージをマークダウンファイルとSQLiteに保存して検索可能にします。

OpenClawRadar
macOSのsandbox-execによる安全なアプリケーション実行の探求
Tools

macOSのsandbox-execによる安全なアプリケーション実行の探求

sandbox-execは、アプリケーションを制限された環境で実行できるmacOSのコマンドラインユーティリティです。カスタムサンドボックスプロファイルを使用して活用する方法を学びましょう。

OpenClawRadar
ClaudyBro:Claudeコードワークフロー用のネイティブmacOSターミナル
Tools

ClaudyBro:Claudeコードワークフロー用のネイティブmacOSターミナル

ClaudyBroは、Claude Codeユーザー向けに特別に構築された3.5MBのネイティブSwiftターミナルアプリで、画像貼り付け、プロセス監視、孤立プロセスのクリーンアップ、スマートMCP管理を備えています。アイドル時は68MB、Claude実行時は82MBのメモリを使用します。

OpenClawRadar
ローカルQwenモデルが段階的計画とコンパクトなDOMでブラウザ自動化を実現
Tools

ローカルQwenモデルが段階的計画とコンパクトなDOMでブラウザ自動化を実現

開発者は、Qwen 8Bや4Bのような小規模なローカルLLMが、事前の多段階計画ではなく段階的計画を用いることでブラウザ自動化に成功したことを発見しました。これには、完全なフローで50-100K以上のトークン使用量を約15Kに削減するコンパクトなセマンティックDOM表現が組み合わされています。

OpenClawRadar