SCM: macOS에서 사진, 비디오 장면, OCR 및 대화를 아우르는 로컬 AI 검색

SCM(Screen Memories)은 감시 폴더의 사진과 비디오 프레임을 인덱싱하고 로컬 비전, OCR, 음성 모델로 검색할 수 있게 해주는 macOS 앱입니다. 계정도, 클라우드도, 업로드도 없습니다 — 추론은 Mac에서 실행됩니다.

다섯 가지 검색 모드

• Files — 의미 기반으로 전체 사진/비디오를 검색합니다. 첫 키 입력 시 파일명 키워드 사전 검색을 수행한 후 이미지 임베딩에 대한 코사인 유사도를 사용하며, 게이트된 구문 및 파일명 부스트, 모델별로 보정된 정직성 하한, 근접 중복 다양성 필터를 적용합니다. 각 타일에는 “왜 일치했는지” 배지(Visual match / Filename match)가 표시되며, 호버 툴팁에 구성 요소별 점수가 포함됩니다. CJK 쿼리는 겹치는 바이그램으로 검색됩니다 — “台北車站”은 台北과 車站도 일치합니다.
• Scenes — 모든 비디오의 각 장면 세그먼트가 점수화되어 정확한 장면에 적중합니다. 타일에는 타임코드 배지가 있는 장면 포스터가 표시되며, 비디오를 열면 해당 순간으로 점프합니다. 노이즈 게이트는 의미 없는 결과 대신 “장면 일치 없음”을 반환하며, 각 비디오는 최대 3개의 장면만 기여합니다.
• OCR — 이미지와 프레임에 보이는 텍스트를 Tesseract(eng 및 35개 언어 토글)를 사용해 문자 그대로 일치시킵니다. 각 이미지의 OCR 텍스트에 쿼리 토큰이 문자 그대로 보이는 비율을 일치시킵니다.
• Dialogue — Whisper를 통한 정확한 대사 검색으로, 단계별 정확도를 제공합니다.
• LLMs (선택 사항) — Mac이 이미 추출한 대사, OCR, 파일명에 대한 로컬 채팅으로, 출처가 인용된 답변을 제공합니다.

자가 유지 관리 라이브러리

감시 폴더는 자동으로 가져옵니다. 콘텐츠 해시로 이름 변경을 중복 제거합니다. 모델 전환 시 검색을 차단하지 않고 백그라운드에서 다시 임베딩합니다.

설치

Apple Silicon에서 macOS 12+가 필요합니다. Homebrew cask는 설치 및 업그레이드 시 macOS 격리 플래그를 해제하므로 수동 Gatekeeper 단계가 필요 없습니다:

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

업그레이드:

brew upgrade --cask allenv0/scm/scm

개발 및 빌드

Bun이 패키지 관리자이자 러너입니다. 모델을 처음 사용할 때 가중치(기본 CLIP의 경우 약 435MB)를 다운로드하며, 그 이후에는 완전히 오프라인으로 작동합니다.

bun install
bun run dev    # 렌더러 번들 빌드 후 Electron 실행
bun start      # 재빌드 없이 Electron 실행
bun run build  # 렌더러 번들을 dist/로 재빌드

패키징은 dist-app/에 DMG와 ZIP을 생성합니다:

bun run dist           # 키체인에 ID가 있으면 서명됨
bun run dist:unsigned  # 코드 서명 검색 건너뛰기

내부적으로 electron-builder --mac은 새 dist/ 렌더러를 main.js, preload.js, main-lib/, indexer/와 함께 번들링합니다. 이 저장소는 329개의 스타와 16개의 포크를 보유하고 있습니다.

이 도구는 자신의 미디어 라이브러리를 클라우드 서비스에 전송하지 않고 시맨틱 검색을 원하는 macOS 개발자와 파워 유저를 위한 것입니다.