ScreenMind: Локальный ИИ с памятью, индексирующий всю активность вашего компьютера

ScreenMind — это локальная AI-система памяти, которая непрерывно захватывает ваш экран, транскрибирует встречи и индексирует голосовые заметки, создавая постоянную, доступную для поиска временную шкалу всего, что вы делаете на компьютере. Она использует perceptual hashing, чтобы срабатывать только при изменении контента, затем обрабатывает каждый кадр через Gemma 4 E2B с помощью llama.cpp для анализа изображений, общения и обработки аудио.

Ключевые особенности

• Захват экрана с perceptual hashing — сохраняются только кадры, когда контент реально меняется
• Поиск по временной шкале — запрашивайте прошлую активность: "то сообщение об ошибке ранее", "над чем я работал в 15:00?"
• Общение с историей — постоянный AI-контекст из всей сессии
• Транскрибация встреч — автоматически определяет Zoom, Teams и Google Meet
• Голосовые заметки — обрабатываются аудиоэнкодером Gemma 4
• Автоматизация на естественном языке — пишите их на простом английском в Markdown
• Интеграция MCP — подключение к Claude и Cursor

Технический стек

• Модели: Gemma 4 E2B (обрабатывает зрение, чат, аудио)
• Бэкенд: Python + FastAPI
• Хранилище: SQLite
• Инференс: llama.cpp с Q4-квантованием
• Оборудование: 4 ГБ+ VRAM

Автор отмечает, что планирование GPU между задачами зрения, чата и аудио — основная проблема оптимизации инференса. Проект все еще ориентирован на рабочий процесс, а не полностью автономен — качество поиска и сложность первого запуска требуют улучшений.

GitHub: ayushh0110/ScreenMind