ScreenMind: Lokale KI-Erinnerung, die Ihre gesamte Computeraktivität indexiert

ScreenMind ist ein lokales KI-Speichersystem, das kontinuierlich Ihren Bildschirm erfasst, Meetings transkribiert und Sprachnotizen indexiert. Es erstellt eine durchsuchbare Zeitleiste alles, was Sie auf Ihrem Computer tun. Durch Wahrnehmungshashing wird nur bei Inhaltsänderungen aufgezeichnet, und jeder Frame wird via llama.cpp mit Gemma 4 E2B für Bildanalyse, Chat und Audioverarbeitung verarbeitet.

Hauptfunktionen

• Bildschirmaufnahme mit Wahrnehmungshashing – speichert nur Frames bei tatsächlichen Änderungen
• Durchsuchbare Zeitleiste – Fragen Sie nach vergangenen Aktivitäten: „diese Fehlermeldung von vorhin“, „woran habe ich um 15 Uhr gearbeitet?“
• Chatten Sie mit Ihrem Verlauf – dauerhafter KI-Kontext aus Ihrer gesamten Sitzung
• Meeting-Transkription – erkennt automatisch Zoom, Teams und Google Meet
• Sprachnotizen – verarbeitet über den Audio-Encoder von Gemma 4
• Automatisierungen in natürlicher Sprache – schreiben Sie sie in einfachem Englisch in Markdown
• MCP-Integration – verbinden Sie sich mit Claude und Cursor

Technischer Aufbau

• Modelle: Gemma 4 E2B (für Bild, Chat, Audio)
• Backend: Python + FastAPI
• Speicher: SQLite
• Inferenz: llama.cpp mit Q4-Quantisierung
• Hardware: 4 GB+ VRAM

Der Autor merkt an, dass die GPU-Zeitplanung zwischen Bild-, Chat- und Audioaufgaben die größte Herausforderung bei der Inferenzoptimierung darstellt. Das Projekt ist noch eher workflowgesteuert als vollständig autonom – Abrufqualität und Einarbeitungsaufwand sind verbesserungswürdig.

GitHub: ayushh0110/ScreenMind