Уроки от запуска 14 ИИ-агентов в продакшене: организационные пробелы, а не технические ошибки.

Что ломалось: организационная среда, а не агенты

Цифровое маркетинговое агентство использует 14 ИИ-агентов в ежедневной работе для обработки брифингов, мониторинга рекламных расходов, составления писем клиентам, управления колл-центром, отслеживания проектов и работы с воронкой продаж. После 7 месяцев эксплуатации они обнаружили неочевидную закономерность: когда агенты выходят из строя, проблема почти никогда не в самих агентах. Проблема в организационной среде, в которой работает агент.

Конкретные примеры сбоев

Агент мониторинга расходов: Обнаружил, что клиент превысил бюджет на 139%, отметил это, указал действие для эскалации, а затем 17 дней подряд сообщал "эскалация просрочена", фактически не выполняя эскалацию. Агент не был сломан. Спецификация воспринималась как документация, а не как исполняемая логика. Никто не проверил весь путь выполнения от начала до конца.

Агенты сроков проекта: Два агента отслеживали сроки проектов, используя разные источники данных. Каждый работал идеально изолированно. Конфликт проявлялся только тогда, когда их результаты появлялись рядом в утреннем брифинге, показывая два разных срока выполнения для одного и того же проекта.

Решение: организационный дизайн, а не лучшие промпты

Решение для обоих случаев заключалось не в лучших промптах или другой модели. Это был организационный дизайн: одно место — один владелец. Определить, кто чем владеет, чем не владеет и что происходит при сбое. Они записали эти правила в то, что называют Организационной операционной системой (OOS).

Когда они впервые просканировали свою настройку по этим правилам, их Координационный балл составил 68 из 100. Они обнаружили 6 структурных пробелов, о существовании которых не знали. После их устранения балл вырос до 91. С тех пор их агенты не мешают друг другу.

Инструмент OTP для оценки координации

Они создали OTP (https://orgtp.com), чтобы позволить другим организациям делать то же самое. Вы можете вставить свой CLAUDE.md или конфигурацию агента и получить Координационный балл за 60 секунд. Бесплатно, регистрация не требуется.

Более интересная часть: 35 организаций опубликовали свои операционные правила на платформе. Вы можете посмотреть, как финтех-стартап с ограничениями SOC 2 структурирует свою команду агентов иначе, чем юридическая фирма, обеспокоенная адвокатской тайной, или фитнес-франшиза, управляющая 12 локациями с локализованными акциями.

Ключевые уроки

• Пороги оповещений: Денежные пороги для оповещений о расходах не работают. $50 — это шум для счета на $5K в день, но критично для счета на $200 в день. Используйте проценты.
• Письма клиентам: Никогда не позволяйте агенту автоматически отправлять письма клиентам, даже простые подтверждения. Их агент ответил "Спасибо, что сообщили!" на жалобу разгневанного клиента. Клиент эскалировал ситуацию до основателя.
• Качество письма: Отрицательные ограничения ("никогда не используйте тире, никогда не смягчайте") улучшают качество письма ИИ. Положительные структурные требования ("следуйте этому шаблону, используйте эти примеры") ухудшают его.
• Теневой режим: Запускайте в теневом режиме на 2 недели каждого нового агента перед запуском в продакшн. Они пропустили это один раз, и их агент по поиску клиентов отправил письмо прямому конкуренту текущего клиента.
• Управление состоянием: Файловое состояние превосходит память ИИ каждый раз. Память дрейфует между сессиями. Файлы — нет.

Технологический стек

Claude Code CLI, 17 фоновых агентов через launchd, 24 общих файла состояния, MCP-серверы для Google Ads, Meta Ads, Slack, Accelo и другие.