本番環境で14のAIエージェントを運用して得た教訓：技術的なバグではなく、組織的なギャップ

何が壊れたのか：エージェントではなく組織環境

デジタルマーケティングエージェンシーは、ブリーフィング、広告費監視、クライアントメール作成、コールセンター管理、プロジェクト追跡、セールスパイプラインなどの日常業務で14のAIエージェントを運用しています。本番環境で7ヶ月間運用した後、彼らは直感に反するパターンを発見しました：エージェントが故障した場合、問題はほぼエージェント自体ではありません。エージェントが働く組織環境に問題があるのです。

具体的な失敗例

広告費監視エージェント：クライアントが139％の超過支出を検出し、フラグを立て、エスカレーションアクションを指定しましたが、その後17日間毎日「エスカレーション期限超過」を報告しながら、実際にエスカレーションを実行しませんでした。エージェントは壊れていませんでした。仕様は実行可能なロジックではなく、ドキュメントとして扱われていたのです。誰も実行パスをエンドツーエンドで検証していませんでした。

プロジェクト期限エージェント：2つのエージェントが異なるデータソースを使用してプロジェクトの期限を追跡していました。それぞれ単独では完璧に機能していました。衝突は、朝のブリーフィングでそれらの出力が並べて表示され、同じプロジェクトに対して2つの異なる期日が示されたときにのみ明らかになりました。

解決策：より良いプロンプトではなく組織設計

両方の解決策は、より良いプロンプトや異なるモデルではありませんでした。それは組織設計でした：1つの席、1人の所有者。誰が何を所有し、何を所有せず、失敗した場合に何が起こるかを定義します。彼らはこれらのルールを、組織オペレーティングシステム（OOS）と呼ぶものに書き留めました。

最初に自社の設定をこれらのルールに対してスキャンしたとき、彼らの調整スコアは100点満点中68でした。彼らは存在すら知らなかった6つの構造的ギャップを発見しました。それらを修正した後、スコアは91に上昇しました。それ以来、彼らのエージェントは互いに干渉することはありません。

調整スコアリングのためのOTPツール

彼らは他の組織にも同じことをできるようにするためにOTP（https://orgtp.com）を構築しました。あなたのCLAUDE.mdやエージェント設定を貼り付けると、60秒で調整スコアを取得できます。無料で、アカウントは必要ありません。

より興味深い部分：35の組織がプラットフォーム上で自社の運用ルールを公開しています。SOC 2の制約を持つフィンテックスタートアップが、弁護士-依頼者特権を心配する法律事務所や、場所固有のプロモーションで12の拠点を管理するフィットネスフランチャイズとは異なる方法でエージェントチームを構築している方法を閲覧できます。

得られた主要な教訓

• アラートの閾値：支出アラートのための金額閾値は機能しません。1日5,000ドルのアカウントでは50ドルはノイズですが、1日200ドルのアカウントでは重要です。パーセンテージを使用してください。
• クライアントメール：エージェントにクライアントメールを自動送信させないでください。単純な確認メールであってもです。彼らのエージェントは、怒っているクライアントの苦情に対して「お知らせいただきありがとうございます！」と返信しました。クライアントは創業者にエスカレーションしました。
• 文章の品質：否定的な制約（「ダッシュを使用しない、ヘッジしない」）はAIの文章品質を向上させます。肯定的な構造的要件（「このテンプレートに従う、これらの例を使用する」）は品質を悪化させます。
• シャドウモード：新しいエージェントごとに本番環境投入前に2週間シャドウモードで実行してください。彼らは一度これをスキップし、見込み客開拓エージェントが現在のクライアントの直接競合他社にメールを送信しました。
• 状態管理：ファイルベースの状態はAIメモリよりも常に優れています。メモリはセッション間でドリフトします。ファイルはドリフトしません。

技術スタック

Claude Code CLI、launchd経由の17のバックグラウンドエージェント、24の共有状態ファイル、Google Ads、Meta Ads、Slack、AcceloなどのためのMCPサーバーなど。