SCM: Lokale KI-Suche über Fotos, Videoszenen, OCR und Dialoge auf macOS

SCM (Screen Memories) ist eine macOS-App, die Fotos und Videoframes in überwachten Ordnern indexiert und sie mit lokalen Vision-, OCR- und Sprachmodellen durchsuchbar macht. Keine Accounts, keine Cloud, keine Uploads – die Inferenz läuft auf deinem Mac.

Fünf Suchmodi

• Dateien – ganze Fotos/Videos nach Bedeutung. Beim ersten Tastendruck wird ein Dateinamen-Schlüsselwort-Vorlauf verwendet, dann Kosinus-Ähnlichkeit gegen Bild-Embeddings mit gated Phrase- und Dateinamen-Boosts, einer pro Modell kalibrierten Ehrlichkeitsschwelle und einem Near-Duplicate-Diversitätsfilter. Jede Kachel zeigt ein „Warum passt es“-Badge (Visueller Treffer / Dateinamen-Treffer) mit einem Hover-Tooltip, der die Punktzahlen der einzelnen Komponenten enthält. CJK-Anfragen werden als überlappende Bigramme gesucht – „台北車站“ findet auch 台北 und 車站.
• Szenen – jedes Szenensegment über alle Videos hinweg wird bewertet, sodass Treffer auf die exakte Aufnahme fallen. Kacheln zeigen ein Szenenposter mit Timecode-Badge; das Öffnen des Videos springt zu diesem Moment. Ein Noise-Gate gibt „kein Szenentreffer“ statt Kauderwelsch zurück, und jedes Video trägt höchstens 3 Szenen bei.
• OCR – sichtbarer Text in Bildern und Frames, wörtlich abgeglichen mit Tesseract mit eng plus 35 Sprachumschaltern. Es wird der Anteil der Suchtoken abgeglichen, die im OCR-Text jedes Bildes wörtlich sichtbar sind.
• Dialog – exakte Suche nach gesprochenen Zeilen über Whisper, mit abgestufter Genauigkeit.
• LLMs (Opt-in) – lokaler Chat über die Dialoge, OCR und Dateinamen, die dein Mac bereits extrahiert hat, mit zitierten Antworten.

Sich selbst pflegende Bibliothek

Überwachte Ordner werden automatisch importiert. Content-Hashes entfernen Duplikate bei Umbenennungen. Modellwechsel re-embedden im Hintergrund, ohne die Suche zu blockieren.

Installation

Erfordert macOS 12+ auf Apple Silicon. Der Homebrew-Cask entfernt beim Installieren und Aktualisieren das macOS-Quarantäne-Flag, sodass keine manuellen Gatekeeper-Schritte nötig sind:

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

Aktualisieren mit:

brew upgrade --cask allenv0/scm/scm

Entwicklung und Build

Bun ist der Paketmanager und Runner. Bei der ersten Verwendung eines Modells werden Gewichte heruntergeladen (~435 MB für das Standard-CLIP); danach vollständig offline.

bun install
bun run dev    # Renderer-Bundle bauen, dann Electron starten
bun start      # Electron ohne Neubau starten
bun run build  # Renderer-Bundle in dist/ neu bauen

Das Packaging erzeugt DMG und ZIP in dist-app/:

bun run dist           # signiert, wenn die Identität im Schlüsselbund liegt
bun run dist:unsigned  # Code-Sign-Erkennung überspringen

Unter der Haube bündelt electron-builder --mac den frischen dist/-Renderer mit main.js, preload.js, main-lib/ und indexer/. Das Repo hat 329 Sterne und 16 Forks.

Das Tool richtet sich an macOS-Entwickler und Power-User, die semantische Suche über ihre eigene Mediathek wünschen, ohne sie an einen Cloud-Dienst zu senden.