Lições da Execução de 14 Agentes de IA em Produção: Lacunas Organizacionais, Não Erros Técnicos

O Que Quebrou: Ambiente Organizacional, Não os Agentes

Uma agência de marketing digital opera 14 agentes de IA nas operações diárias, lidando com briefings, monitoramento de gastos em anúncios, redação de e-mails para clientes, gerenciamento de call center, acompanhamento de projetos e pipeline de vendas. Após 7 meses em produção, eles encontraram um padrão contraintuitivo: quando os agentes falham, o problema quase nunca é o próprio agente. É o ambiente organizacional no qual o agente trabalha.

Exemplos Específicos de Falhas

Agente de Monitoramento de Gastos: Detectou que um cliente estava gastando 139% a mais, sinalizou isso, especificou a ação de escalonamento e, em seguida, relatou "escalonamento atrasado" todos os dias por 17 dias sem realmente executar o escalonamento. O agente não estava quebrado. A especificação foi tratada como documentação, não como lógica executável. Ninguém verificou o caminho de execução de ponta a ponta.

Agentes de Prazo de Projeto: Dois agentes acompanhavam prazos de projeto usando fontes de dados diferentes. Cada um funcionava perfeitamente isoladamente. O conflito só aparecia quando suas saídas eram exibidas lado a lado no briefing matinal, mostrando duas datas de vencimento diferentes para o mesmo projeto.

A Correção: Design Organizacional, Não Prompts Melhores

A correção para ambos não foi prompts melhores ou um modelo diferente. Foi o design organizacional: um cargo, um responsável. Definir quem é responsável pelo quê, pelo que não é responsável e o que acontece quando falham. Eles escreveram essas regras no que chamam de Sistema Operacional Organizacional (OOS).

Quando escanearam pela primeira vez sua própria configuração contra essas regras, sua Pontuação de Coordenação era 68 em 100. Eles encontraram 6 lacunas estruturais que não sabiam existir. Após corrigi-las, a pontuação subiu para 91. Seus agentes não têm mais se atropelado desde então.

Ferramenta OTP para Pontuação de Coordenação

Eles construíram o OTP (https://orgtp.com) para permitir que outras organizações façam a mesma coisa. Você pode colar seu CLAUDE.md ou configuração de agente e obter uma Pontuação de Coordenação em 60 segundos. Gratuito, sem necessidade de conta.

A parte mais interessante: 35 organizações publicaram suas regras operacionais na plataforma. Você pode navegar e ver como uma startup fintech com restrições SOC 2 estrutura sua equipe de agentes de forma diferente de um escritório de advocacia preocupado com o sigilo advogado-cliente, ou de uma franquia de fitness gerenciando 12 locais com promoções específicas para cada local.

Principais Lições Aprendidas

• Limiares de alerta: Limiares em dólares para alertas de gastos não funcionam. US$ 50 é ruído em uma conta de US$ 5 mil/dia, mas crítico em uma conta de US$ 200/dia. Use porcentagens.
• E-mails para clientes: Nunca permita que um agente envie automaticamente e-mails para clientes, mesmo simples confirmações. O deles respondeu "Obrigado por nos informar!" a uma reclamação irritada de um cliente. O cliente escalou para o fundador.
• Qualidade da escrita: Restrições negativas ("nunca use travessões, nunca seja evasivo") melhoram a qualidade da escrita da IA. Requisitos estruturais positivos ("siga este modelo, use estes exemplos") a pioram.
• Modo sombra: Execute no modo sombra por 2 semanas para cada novo agente antes da produção. Eles pularam isso uma vez e seu agente de prospecção enviou um e-mail para um concorrente direto de um cliente atual.
• Gerenciamento de estado: Estado baseado em arquivo supera a memória da IA todas as vezes. A memória desvia entre sessões. Os arquivos não.

Stack Tecnológica

Claude Code CLI, 17 agentes em segundo plano via launchd, 24 arquivos de estado compartilhados, servidores MCP para Google Ads, Meta Ads, Slack, Accelo e mais.