ScreenMind: Memória de IA Local que Indexa Toda a Atividade do Seu Computador

ScreenMind é um sistema de memória de IA local que captura continuamente sua tela, transcreve reuniões e indexa notas de voz, construindo uma linha do tempo persistente e pesquisável de tudo que você faz no computador. Ele usa hashing perceptual para só acionar quando o conteúdo muda, processando cada frame através do Gemma 4 E2B via llama.cpp para análise visual, bate-papo e processamento de áudio.

Principais Recursos

• Captura de tela com hashing perceptual — armazena frames apenas quando o conteúdo realmente muda
• Linha do tempo pesquisável — consulte atividades passadas: "aquela mensagem de erro de antes", "no que eu estava trabalhando às 15h?"
• Converse com seu histórico — contexto de IA persistente de toda a sua sessão
• Transcrição de reuniões — detecta automaticamente Zoom, Teams e Google Meet
• Notas de voz — processadas pelo codificador de áudio do Gemma 4
• Automações em linguagem natural — escreva-as em Markdown em inglês simples
• Integração MCP — conecte-se ao Claude e Cursor

Stack Técnico

• Modelos: Gemma 4 E2B (lida com visão, bate-papo e áudio)
• Backend: Python + FastAPI
• Armazenamento: SQLite
• Inferência: llama.cpp com quantização Q4
• Hardware: 4GB+ de VRAM

O autor observa que o agendamento da GPU entre tarefas de visão, bate-papo e áudio é o principal desafio de otimização de inferência. O projeto ainda é orientado por fluxo de trabalho, não totalmente autônomo — a qualidade da recuperação e o atrito na integração são áreas que precisam de melhoria.

GitHub: ayushh0110/ScreenMind