永続的なローカルAIコンパニオンエージェント構築からの実践的教訓

セットアップとアーキテクチャ

開発者がM4 Mac mini上でセルフホスト型AIエージェントを数ヶ月間運用している。このセットアップでは、高速なローカル推論のためにOllama上でqwen2.5:14bをRustランタイムで使用している。システムはモデルラダーを実装しており、タスクにより高い能力を必要とする場合にはクラウドモデルにエスカレートする。メモリはSQLiteで管理され、セッションをまたいだ意味的検索のためにnomic-embed-textを使用したローカル埋め込みが行われる。エージェントはlaunchd経由で24時間稼働し、トレーディングボットの監視、メールチェック、ウェブサイトのデプロイ、タスクランナーを介したClaude Codeへの重い実装作業の委任など、様々なタスクを実行する。

得られた主な教訓

メモリ・アーキテクチャが全てを決める: 開発者は、BM25キーワード検索とベクトル類似性を重み付けして統合するハイブリッド検索が画期的であることを発見した。優れたメモリ検索機能を持つ14Bモデルは、毎回の会話をゼロから始める70Bモデルよりも優れたパフォーマンスを発揮する。

システムプロンプトのコストは現実的: 初期のアイデンティティファイルは約10Kトークンから始まったが、エージェントが必要に応じて参照できるものは全て削減し、約2,800トークンまで縮小された。ルールは次の通り：エージェントが時々必要とするものはメモリに保存し、毎回のメッセージで必要とするものはシステムプロンプトに含める。

ローカル埋め込みが経済性を変えた: 会話モデルと並行してOllama上でnomic-embed-textを使用することで、すべてのメモリ保存と検索操作が無料になり、以前はOpenAIの埋め込みリクエストから蓄積されていたコストが解消された。

デフォルトモデルよりもモデルラダーが重要: エージェントは会話にはローカルのqwenをデフォルトで使用する（無料、高速）が、タスクの要件に応じてMinimax、Kimi、Haiku、Sonnet、Opusにエスカレートできる。重要な洞察：自動検出を試みるのではなく、推論タスクには/model sonnet、チャットには/model qwenといったコマンドで人間が手動でモデルを切り替えられるようにすること。

ツール反復回数の制限には余裕が必要: メッセージあたり最大10回のツール呼び出しから始めたが不十分だったことが判明。単純なタスクでは3〜5回のツール呼び出しを消費し、複雑なタスクでは15〜20回が必要となる。現在のセットアップでは、安全策として1時間あたり200アクションのレート制限とともに25回のツール呼び出しを使用している。

最も困難なバグはセッション間メモリだった: storeツールを介して明示的に保存されたメモリには当初session_idがなく、検索クエリは現在のsession_idでフィルタリングされていた。これにより、意図的に記憶された事実が将来のセッションで見えなくなっていた。修正方法は、SQLクエリにOR session_id IS NULLを追加することだった。