SCM: Локальный ИИ-поиск по фотографиям, видеосценам, OCR и диалогам на macOS

SCM (Screen Memories) — это приложение для macOS, которое индексирует фотографии и кадры видео в отслеживаемых папках и позволяет искать по ним с помощью локальных моделей зрения, OCR и распознавания речи. Никаких аккаунтов, облака и загрузок — все вычисления выполняются на вашем Mac.

Пять режимов поиска

• Файлы — поиск целых фото и видео по смыслу. При первом нажатии клавиши выполняется предварительный поиск по ключевым словам в имени файла, затем косинусное сходство с эмбеддингами изображений с усилением по фразам и именам файлов, порогом достоверности, калиброванным для каждой модели, и фильтром разнообразия для устранения почти одинаковых результатов. На каждой плитке отображается значок «почему совпало» (визуальное совпадение / совпадение по имени файла) с всплывающей подсказкой, содержащей оценки по компонентам. Запросы на CJK-языках ищутся как перекрывающиеся биграммы — «台北車站» также соответствует 台北 и 車站.
• Сцены — оценивается каждый сегмент сцены во всех видео, поэтому результаты попадают точно в нужный кадр. Плитки показывают постер сцены со значком таймкода; при открытии видео происходит переход к этому моменту. Шумовой фильтр возвращает «нет совпадений по сцене» вместо бессмыслицы, и каждое видео даёт не более 3 сцен.
• OCR — текст, видимый на изображениях и кадрах, ищется буквально с помощью Tesseract с поддержкой английского и ещё 35 языков. Совпадение определяется по доле токенов запроса, буквально видимых в OCR-тексте каждого изображения.
• Диалоги — точный поиск произнесённых реплик через Whisper с многоуровневой точностью.
• LLM (по желанию) — локальный чат по диалогам, OCR-тексту и именам файлов, которые ваш Mac уже извлёк, с ответами со ссылками на источники.

Самообслуживаемая библиотека

Отслеживаемые папки импортируются автоматически. Хеши содержимого устраняют дубликаты при переименовании. При смене модели выполняется повторное создание эмбеддингов в фоновом режиме, не блокируя поиск.

Установка

Требуется macOS 12+ на Apple Silicon. Homebrew cask снимает карантинный флаг macOS при установке и обновлении, поэтому ручные шаги в Gatekeeper не нужны:

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

Обновление:

brew upgrade --cask allenv0/scm/scm

Разработка и сборка

Bun используется как менеджер пакетов и раннер. При первом использовании модели загружаются веса (~435 МБ для CLIP по умолчанию); после этого всё работает полностью офлайн.

bun install
bun run dev    # собрать бандл рендерера, затем запустить Electron
bun start      # запустить Electron без пересборки
bun run build  # пересобрать бандл рендерера в dist/

При упаковке создаются DMG и ZIP в dist-app/:

bun run dist           # подписывается, если идентификатор есть в связке ключей
bun run dist:unsigned  # пропустить поиск подписи кода

Под капотом electron-builder --mac объединяет свежий рендерер из dist/ с main.js, preload.js, main-lib/ и indexer/. У репозитория 329 звёзд и 16 форков.

Инструмент предназначен для разработчиков и продвинутых пользователей macOS, которые хотят семантический поиск по своей медиатеке без отправки данных в облачный сервис.