SCM : Recherche IA locale dans les photos, les scènes vidéo, l’OCR et les dialogues sur macOS

SCM (Screen Memories) est une application macOS qui indexe les photos et les images de vidéos dans les dossiers surveillés et vous permet de les rechercher grâce à des modèles locaux de vision, d'OCR et de reconnaissance vocale. Aucun compte, aucun cloud, aucun envoi de données — l'inférence s'exécute sur votre Mac.

Cinq modes de recherche

• Fichiers — des photos et vidéos entières par le sens. Utilise une pré-passe par mots-clés du nom de fichier dès la première frappe, puis une similarité cosinus avec les embeddings d'images, avec des bonus conditionnels pour les phrases et les noms de fichiers, un seuil d'honnêteté calibré par modèle et un filtre de diversité anti-doublons. Chaque vignette affiche un badge « pourquoi ça correspond » (Correspondance visuelle / Correspondance de nom de fichier) avec une infobulle au survol contenant les scores par composant. Les requêtes en CJK sont recherchées sous forme de bigrammes chevauchants — « 台北車站 » correspond aussi à 台北 et 車站.
• Scènes — chaque segment de scène de toutes les vidéos est évalué, les résultats tombent donc sur le plan exact. Les vignettes affichent une image de scène avec un badge de timecode ; ouvrir la vidéo saute directement à ce moment. Un seuil de bruit renvoie « aucune correspondance de scène » au lieu de résultats absurdes, et chaque vidéo contribue au maximum 3 scènes.
• OCR — texte visible dans les images et les images de vidéos, correspondance littérale via Tesseract avec eng plus 35 langues activables. Correspond à la fraction de tokens de la requête littéralement visibles dans le texte OCR de chaque image.
• Dialogue — recherche exacte de répliques parlées via Whisper, avec des niveaux d'exactitude.
• LLMs (optionnel) — chat local sur le dialogue, l'OCR et les noms de fichiers que votre Mac a déjà extraits, avec des réponses citées.

Bibliothèque auto-maintenue

Les dossiers surveillés s'importent automatiquement. Les hashes de contenu dédupliquent les renommages. Les changements de modèle ré-embedent en arrière-plan sans bloquer la recherche.

Installation

Nécessite macOS 12+ sur Apple Silicon. Le cask Homebrew supprime le drapeau de quarantaine de macOS à l'installation et à la mise à jour, donc aucune étape manuelle Gatekeeper :

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

Mettre à jour avec :

brew upgrade --cask allenv0/scm/scm

Développement et compilation

Bun est le gestionnaire de paquets et l'exécuteur. La première utilisation d'un modèle télécharge les poids (~435 Mo pour le CLIP par défaut) ; ensuite, tout fonctionne hors ligne.

bun install
bun run dev    # build renderer bundle, then launch Electron
bun start      # launch Electron without rebuilding
bun run build  # rebuild renderer bundle into dist/

Le packaging produit des DMG et ZIP dans dist-app/ :

bun run dist           # signed if identity is in keychain
bun run dist:unsigned  # skip code-sign discovery

Sous le capot, electron-builder --mac regroupe le renderer fraîchement compilé dans dist/ avec main.js, preload.js, main-lib/ et indexer/. Le dépôt compte 329 étoiles et 16 forks.

L'outil s'adresse aux développeurs et utilisateurs avancés macOS qui veulent une recherche sémantique sur leur propre médiathèque sans l'envoyer à un service cloud.