SCM: Búsqueda local con IA en fotos, escenas de video, OCR y diálogo en macOS

SCM (Screen Memories) es una aplicación para macOS que indexa fotos y fotogramas de vídeo en carpetas vigiladas y te permite buscarlos con modelos locales de visión, OCR y voz. Sin cuentas, sin nube, sin subidas: la inferencia se ejecuta en tu Mac.

Cinco modos de búsqueda

• Archivos — fotos y vídeos completos por significado. Usa una pre-pasada de palabras clave de nombre de archivo en la primera pulsación de tecla, luego similitud del coseno con los embeddings de imagen, con refuerzos controlados de frase y nombre de archivo, un umbral de honestidad calibrado por modelo y un filtro de diversidad para casi duplicados. Cada mosaico muestra una insignia de «por qué coincidió» (coincidencia visual / coincidencia de nombre de archivo) con un tooltip al pasar el cursor que contiene las puntuaciones por componente. Las consultas en CJK se buscan como bigramas superpuestos: «台北車站» también coincide con 台北 y 車站.
• Escenas — se puntúa cada segmento de escena de todos los vídeos, de modo que los aciertos caen en el plano exacto. Los mosaicos muestran un póster de escena con una insignia de código de tiempo; abrir el vídeo salta a ese momento. Un umbral de ruido devuelve «sin coincidencia de escena» en lugar de resultados incoherentes, y cada vídeo aporta como máximo 3 escenas.
• OCR — texto visible en imágenes y fotogramas, con coincidencia literal mediante Tesseract con eng más 35 idiomas configurables. Coincide con la fracción de tokens de la consulta visibles literalmente en el texto OCR de cada imagen.
• Diálogo — búsqueda exacta de líneas habladas mediante Whisper, con grados de exactitud por niveles.
• LLMs (opcional) — chat local sobre el diálogo, el OCR y los nombres de archivo que tu Mac ya ha extraído, con respuestas citadas.

Biblioteca autogestionada

Las carpetas vigiladas se importan automáticamente. Los hashes de contenido eliminan duplicados por renombrados. Los cambios de modelo vuelven a generar embeddings en segundo plano sin bloquear la búsqueda.

Instalación

Requiere macOS 12+ en Apple Silicon. El cask de Homebrew elimina la marca de cuarentena de macOS al instalar y actualizar, así que no hay pasos manuales con Gatekeeper:

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

Actualiza con:

brew upgrade --cask allenv0/scm/scm

Desarrollo y compilación

Bun es el gestor de paquetes y el ejecutor. El primer uso de un modelo descarga los pesos (~435 MB para el CLIP predeterminado); después, totalmente offline.

bun install
bun run dev    # compila el bundle del renderer y luego lanza Electron
bun start      # lanza Electron sin recompilar
bun run build  # recompila el bundle del renderer en dist/

El empaquetado genera DMG y ZIP en dist-app/:

bun run dist           # firmado si la identidad está en el llavero
bun run dist:unsigned  # omite la detección de firma de código

Por debajo, electron-builder --mac empaqueta el renderer recién compilado de dist/ con main.js, preload.js, main-lib/ e indexer/. El repositorio tiene 329 estrellas y 16 forks.

La herramienta es para desarrolladores y usuarios avanzados de macOS que quieren búsqueda semántica sobre su propia biblioteca multimedia sin enviarla a un servicio en la nube.