AgentHandover：Macのメニューバーアプリで、画面操作を監視してエージェントスキルを作成します

AgentHandoverの機能

AgentHandoverは、Gemma 4（Ollama経由でローカル実行）を通じて画面を監視し、繰り返されるワークフローをあらゆるエージェントが実行できる構造化されたSkillファイルに変換するオープンソースのMacメニューバーアプリケーションです。開発者は、日常タスクを含め、エージェントに何かを処理させるたびにプロセスを一から説明する手間を省くためにこれを構築しました。

主な機能と動作

• 2つの記録モード： 特定タスクのためのFocus Recordと、バックグラウンドで実行され、何度か繰り返しを観察した後にパターンの検出を開始するPassive Discovery
• 自己改善スキル： スキルは観察のたびに洗練され、学習を重ねるごとにステップ、ガードレール、信頼度スコアが更新されます
• オンデバイス処理： システム全体は11段階のパイプラインとして完全にオンデバイスで実行され、データはマシン外に出ることなく、保存時は暗号化されます
• エージェント統合： MCP（Model Context Protocol）によるワンクリック統合により、Claude Code、Cursor、OpenClawなどMCPに対応するあらゆるエージェントがスキルを取得できます
• CLI対応： ターミナルユーザー向けのコマンドラインインターフェースを含みます

技術詳細

このアプリケーションは、画面理解のためにOllama経由でローカル実行されるGemma 4を使用しています。Apache 2.0ライセンスの下で公開されており、GitHubで入手可能です。開発者はこのアプローチに関するフィードバックを求めており、画面理解のための他のローカルビジョンやOSモデルにも関心を持っています。

この種のツールは、手動でのドキュメント作成なしに人間のワークフローをAIエージェントに移行する課題に対処します。実際の画面操作を観察することで、文章による指示では見落とされがちなニュアンスやバリエーションを捉えることができます。