ScreenMind: 로컬 우선 AI 메모리, 컴퓨터 전체 활동을 인덱싱하다

ScreenMind는 로컬 우선 AI 메모리 시스템으로, 컴퓨터 화면을 지속적으로 캡처하고, 회의를 자동으로 전사하며, 음성 메모를 인덱싱하여 사용자의 모든 활동을 검색 가능한 타임라인으로 구성합니다. 지각적 해싱(perceptual hashing)을 사용해 콘텐츠가 변경될 때만 기록하며, 각 프레임을 llama.cpp를 통해 Gemma 4 E2B로 전달하여 비전 분석, 채팅, 오디오 처리를 수행합니다.

주요 기능

• 화면 캡처 — 지각적 해싱으로 콘텐츠가 변경될 때만 저장
• 검색 가능한 타임라인 — 과거 활동 질의: "아까 그 에러 메시지", "오후 3시에 뭐 하고 있었지?"
• 과거와 대화 — 전체 세션의 AI 컨텍스트 유지
• 회의 전사 — Zoom, Teams, Google Meet 자동 감지
• 음성 메모 — Gemma 4 오디오 인코더로 처리
• 자연어 자동화 — 평문 영어 Markdown으로 작성
• MCP 통합 — Claude와 Cursor 연결

기술 스택

• 모델: Gemma 4 E2B (비전, 채팅, 오디오 처리)
• 백엔드: Python + FastAPI
• 저장소: SQLite
• 추론: Q4 양자화된 llama.cpp
• 하드웨어: 4GB 이상 VRAM

저자는 비전, 채팅, 오디오 작업 간의 GPU 스케줄링이 주요 추론 최적화 과제라고 언급합니다. 이 프로젝트는 아직 완전 자동화보다는 워크플로 중심이며, 검색 품질과 온보딩 편의성 개선이 필요합니다.

GitHub: ayushh0110/ScreenMind