ScreenMind: Memoria de IA Local que Indexa Toda tu Actividad Informática

ScreenMind es un sistema de memoria local con IA que captura continuamente tu pantalla, transcribe reuniones e indexa notas de voz, creando una línea de tiempo persistente y buscable de todo lo que haces en tu computadora. Usa hashing perceptual para activarse solo cuando el contenido cambia, luego procesa cada fotograma con Gemma 4 E2B a través de llama.cpp para análisis visual, chat y procesamiento de audio.

Características principales

• Captura de pantalla con hashing perceptual — solo almacena fotogramas cuando el contenido realmente cambia
• Línea de tiempo buscable — consulta actividad pasada: "ese mensaje de error de antes", "¿en qué estaba trabajando a las 3 p.m.?"
• Chatea con tu historial — contexto persistente de IA de toda tu sesión
• Transcripción de reuniones — detecta automáticamente Zoom, Teams y Google Meet
• Notas de voz — procesadas mediante el codificador de audio de Gemma 4
• Automatizaciones en lenguaje natural — escríbelas en Markdown en inglés sencillo
• Integración MCP — conéctate a Claude y Cursor

Stack técnico

• Modelos: Gemma 4 E2B (maneja visión, chat, audio)
• Backend: Python + FastAPI
• Almacenamiento: SQLite
• Inferencia: llama.cpp con cuantización Q4
• Hardware: 4GB+ VRAM

El autor señala que la planificación de GPU entre tareas de visión, chat y audio es el principal desafío de optimización de inferencia. El proyecto aún está impulsado por flujos de trabajo, no es completamente autónomo; la calidad de recuperación y la fricción de incorporación son áreas que necesitan mejora.

GitHub: ayushh0110/ScreenMind