ScreenMind : Mémoire IA locale qui indexe l’intégralité de votre activité informatique

ScreenMind est un système de mémoire IA local qui capture en continu votre écran, transcrit les réunions et indexe les notes vocales, construisant une chronologie persistante et consultable de tout ce que vous faites sur votre ordinateur. Il utilise un hachage perceptif pour ne se déclencher que lorsque le contenu change, puis analyse chaque image via Gemma 4 E2B avec llama.cpp pour la vision, le chat et le traitement audio.

Fonctionnalités clés

• Capture d'écran avec hachage perceptif — ne stocke que les images lorsque le contenu change réellement
• Chronologie consultable — interrogez les activités passées : « ce message d'erreur de tout à l'heure », « sur quoi je travaillais à 15h ? »
• Discutez avec votre historique — contexte IA persistant de toute votre session
• Transcription de réunions — détection automatique de Zoom, Teams et Google Meet
• Notes vocales — traitées via l'encodeur audio de Gemma 4
• Automatisations en langage naturel — rédigez-les en Markdown en anglais simple
• Intégration MCP — connectez-vous à Claude et Cursor

Stack technique

• Modèles : Gemma 4 E2B (gère la vision, le chat, l'audio)
• Backend : Python + FastAPI
• Stockage : SQLite
• Inférence : llama.cpp avec quantification Q4
• Matériel : 4 Go+ VRAM

L'auteur note que l'ordonnancement GPU entre les tâches de vision, chat et audio est le principal défi d'optimisation de l'inférence. Le projet reste axé sur le flux de travail plutôt que totalement autonome — la qualité de la récupération et les frottements à l'intégration sont des aspects à améliorer.

GitHub : ayushh0110/ScreenMind