SCM: Busca com IA local em fotos, cenas de vídeo, OCR e diálogo no macOS

O SCM (Screen Memories) é um app para macOS que indexa fotos e frames de vídeo em pastas monitoradas e permite buscá-los com modelos locais de visão, OCR e fala. Sem contas, sem nuvem, sem uploads — a inferência roda no seu Mac.

Cinco modos de busca

• Arquivos — fotos/vídeos inteiros por significado. Usa uma pré-passagem de palavras-chave do nome do arquivo na primeira tecla digitada e depois similaridade de cosseno contra embeddings de imagem, com reforços condicionais de frase e nome de arquivo, um piso de honestidade calibrado por modelo e um filtro de diversidade para quase-duplicatas. Cada miniatura mostra um selo de "por que combinou" (Combinação visual / Combinação por nome de arquivo) com um tooltip ao passar o mouse contendo as pontuações por componente. Consultas em CJK são buscadas como bigramas sobrepostos — "台北車站" também corresponde a 台北 e 車站.
• Cenas — cada segmento de cena de todos os vídeos é pontuado, então os resultados caem no plano exato. As miniaturas mostram um pôster da cena com um selo de timecode; abrir o vídeo pula para aquele momento. Um filtro de ruído retorna "nenhuma cena correspondente" em vez de absurdos, e cada vídeo contribui com no máximo 3 cenas.
• OCR — texto visível em imagens e frames, correspondido literalmente usando Tesseract com eng mais 35 opções de idioma. Corresponde à fração dos tokens da consulta literalmente visíveis no texto de OCR de cada imagem.
• Diálogo — busca exata de falas via Whisper, com níveis de exatidão.
• LLMs (opcional) — chat local sobre o diálogo, o OCR e os nomes de arquivo que seu Mac já extraiu, com respostas citadas.

Biblioteca autossuficiente

Pastas monitoradas são importadas automaticamente. Hashes de conteúdo eliminam duplicatas em renomeações. Trocas de modelo geram novos embeddings em segundo plano sem bloquear a busca.

Instalação

Requer macOS 12+ em Apple Silicon. O cask do Homebrew limpa a flag de quarentena do macOS na instalação e na atualização, então não há etapas manuais no Gatekeeper:

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

Atualize com:

brew upgrade --cask allenv0/scm/scm

Desenvolvimento e build

O Bun é o gerenciador de pacotes e executor. O primeiro uso de um modelo baixa os pesos (~435MB para o CLIP padrão); depois disso, totalmente offline.

bun install
bun run dev    # build renderer bundle, then launch Electron
bun start      # launch Electron without rebuilding
bun run build  # rebuild renderer bundle into dist/

O empacotamento produz DMG e ZIP em dist-app/:

bun run dist           # signed if identity is in keychain
bun run dist:unsigned  # skip code-sign discovery

Por baixo do capô, electron-builder --mac empacota o renderer recém-gerado em dist/ com main.js, preload.js, main-lib/ e indexer/. O repositório está com 329 estrelas e 16 forks.

A ferramenta é para desenvolvedores e usuários avançados de macOS que querem busca semântica na própria biblioteca de mídia sem enviá-la para um serviço de nuvem.