La conformité des instructions système de Claude se dégrade dans les conversations longues.

Un utilisateur de Reddit rapporte que la conformité aux instructions système de Claude se dégrade significativement dans les longues conversations, affectant particulièrement les agents d'IA de codage avec des règles de formatage et des contraintes spécifiques.

Détails du problème

L'utilisateur exécute plusieurs agents basés sur Claude pour des outils internes, chacun avec des instructions système contenant des règles spécifiques sur le format de sortie, les sujets à éviter et la gestion des cas limites. Bien que ces agents fonctionnent parfaitement pour les 20 à 30 premiers échanges, la conformité commence à faiblir vers les messages 40-50.

Problèmes spécifiques observés :

• Les agents cessent de suivre les règles de formatage
• Ils deviennent "utiles" de manières que les instructions système interdisent explicitement
• Ils oublient des contraintes qui étaient claires au départ

L'utilisateur note qu'il ne s'agit pas d'un bug mais plutôt du fonctionnement des fenêtres de contexte sous pression, avec les instructions système en compétition avec plus de 40 messages d'historique de conversation pour le poids attentionnel.

Solutions de contournement et solutions

L'utilisateur partage plusieurs approches pratiques qui ont fonctionné :

• Réaffirmer les règles critiques : Tous les 15-20 messages, réaffirmez les 3 règles les plus importantes que vous ne pouvez pas vous permettre de perdre sous forme condensée (pas l'intégralité des instructions système)
• Maintenir des conversations plus courtes : Si une tâche nécessite plus de 30 échanges, commencez une nouvelle session avec un résumé de ce qui s'est passé
• Placement stratégique des instructions : Placez vos contraintes les plus importantes au début ET à la fin des instructions système, car les modèles accordent plus d'attention à ces deux positions
• Tester à grande échelle : Testez vos agents au message 50, pas seulement au message 5, car les démonstrations de cas idéaux ne révèlent pas ce problème

L'utilisateur souligne que ce problème n'est pas suffisamment discuté et invite les autres à partager des modèles fiables pour maintenir l'adhésion aux instructions dans les sessions de longue durée.