AgentHandover : application de barre de menus Mac qui crée des compétences d'agent en observant votre écran

Ce que fait AgentHandover

AgentHandover est une application open-source pour la barre de menus Mac qui surveille votre écran via Gemma 4 (fonctionnant localement via Ollama) et transforme vos workflows répétés en fichiers Skill structurés que n'importe quel agent peut suivre. Son créateur l'a conçu pour éviter d'avoir à expliquer les processus depuis le début à chaque fois qu'il voulait qu'un agent gère quelque chose, même pour des tâches quotidiennes.

Fonctionnalités clés et fonctionnement

• Deux modes d'enregistrement : Enregistrement Focus pour des tâches spécifiques et Découverte Passive qui fonctionne en arrière-plan et commence à détecter des modèles après vous avoir vu répéter quelque chose plusieurs fois
• Compétences auto-améliorantes : Les compétences deviennent plus précises à chaque observation, mettant à jour les étapes, les garde-fous et les scores de confiance au fur et à mesure de l'apprentissage
• Traitement sur l'appareil : L'ensemble du système est un pipeline en 11 étapes fonctionnant entièrement sur l'appareil, sans que rien ne quitte votre machine et avec les données chiffrées au repos
• Intégration d'agents : Intégration en un clic via MCP (Model Context Protocol) pour que Claude Code, Cursor, OpenClaw ou tout ce qui parle MCP puisse récupérer vos compétences
• CLI disponible : Inclut une interface en ligne de commande pour les utilisateurs du terminal

Détails techniques

L'application utilise Gemma 4 fonctionnant localement via Ollama pour la compréhension de l'écran. Elle est sous licence Apache 2.0 et disponible sur GitHub. Le créateur sollicite des retours sur l'approche et s'interroge sur d'autres modèles de vision locale ou de système d'exploitation pour la compréhension de l'écran.

Ce type d'outil répond au défi du transfert des workflows humains vers les agents IA sans documentation manuelle. En observant les interactions réelles à l'écran, il capture les nuances et variations qui pourraient être manquées dans des instructions écrites.