Leçons tirées de l’exécution de 14 agents IA en production : des lacunes organisationnelles, pas des bugs techniques

Ce qui a cassé : l'environnement organisationnel, pas les agents

Une agence de marketing digital utilise 14 agents IA dans ses opérations quotidiennes pour gérer les briefings, la surveillance des dépenses publicitaires, la rédaction d'emails clients, la gestion du centre d'appels, le suivi des projets et le pipeline commercial. Après 7 mois en production, ils ont découvert un schéma contre-intuitif : lorsque les agents dysfonctionnent, le problème provient presque toujours de l'environnement organisationnel dans lequel l'agent opère.

Exemples spécifiques de dysfonctionnements

Agent de surveillance des dépenses : A détecté qu'un client dépassait son budget de 139%, l'a signalé, a spécifié une action d'escalade, puis a rapporté "escalade en retard" chaque jour pendant 17 jours sans exécuter réellement l'escalade. L'agent n'était pas cassé. La spécification était traitée comme de la documentation, pas comme une logique exécutable. Personne n'a vérifié le chemin d'exécution de bout en bout.

Agents d'échéances de projet : Deux agents suivaient les échéances de projet en utilisant différentes sources de données. Chacun fonctionnait parfaitement en isolation. Le conflit n'est apparu que lorsque leurs sorties sont apparues côte à côte dans le briefing du matin, montrant deux dates d'échéance différentes pour le même projet.

La solution : la conception organisationnelle, pas de meilleurs prompts

La solution pour les deux cas n'était pas de meilleurs prompts ou un modèle différent. C'était la conception organisationnelle : un poste, un responsable. Définir qui possède quoi, ce qu'ils ne possèdent pas, et ce qui se passe lorsqu'ils échouent. Ils ont écrit ces règles dans ce qu'ils appellent un Système d'Exploitation Organisationnel (OOS).

Lorsqu'ils ont scanné leur propre configuration contre ces règles pour la première fois, leur Score de Coordination était de 68 sur 100. Ils ont trouvé 6 lacunes structurelles dont ils ignoraient l'existence. Après les avoir corrigées, le score est passé à 91. Leurs agents ne se sont plus marcher sur les pieds depuis.

Outil OTP pour le Score de Coordination

Ils ont construit OTP (https://orgtp.com) pour permettre à d'autres organisations de faire la même chose. Vous pouvez coller votre CLAUDE.md ou configuration d'agent et obtenir un Score de Coordination en 60 secondes. Gratuit, aucun compte requis.

La partie la plus intéressante : 35 organisations ont publié leurs règles opérationnelles sur la plateforme. Vous pouvez parcourir comment une startup fintech avec des contraintes SOC 2 structure son équipe d'agents différemment d'un cabinet d'avocats préoccupé par le secret professionnel, ou d'une franchise de fitness gérant 12 sites avec des promotions spécifiques à chaque lieu.

Principales leçons apprises

• Seuils d'alerte : Les seuils en dollars pour les alertes de dépenses ne fonctionnent pas. 50$ est du bruit sur un compte de 5000$/jour mais critique sur un compte de 200$/jour. Utilisez des pourcentages.
• Emails clients : Ne laissez jamais un agent envoyer automatiquement des emails clients, même de simples accusés de réception. Le leur a répondu "Merci de nous avoir informés !" à une plainte client en colère. Le client a escaladé au fondateur.
• Qualité d'écriture : Les contraintes négatives ("n'utilisez jamais de tirets cadratins, ne soyez jamais évasif") améliorent la qualité d'écriture de l'IA. Les exigences structurelles positives ("suivez ce modèle, utilisez ces exemples") la détériorent.
• Mode ombre : Exécutez en mode ombre pendant 2 semaines pour chaque nouvel agent avant la production. Ils ont sauté cette étape une fois et leur agent de prospection a envoyé un email à un concurrent direct d'un client actuel.
• Gestion d'état : L'état basé sur des fichiers surpasse toujours la mémoire de l'IA. La mémoire dérive entre les sessions. Les fichiers non.

Stack technique

Claude Code CLI, 17 agents en arrière-plan via launchd, 24 fichiers d'état partagés, serveurs MCP pour Google Ads, Meta Ads, Slack, Accelo, et plus.