La conformité des instructions système de Claude se dégrade dans les conversations longues.
Un utilisateur de Reddit rapporte que la conformité aux instructions système de Claude se dégrade significativement dans les longues conversations, affectant particulièrement les agents d'IA de codage avec des règles de formatage et des contraintes spécifiques.
Détails du problème
L'utilisateur exécute plusieurs agents basés sur Claude pour des outils internes, chacun avec des instructions système contenant des règles spécifiques sur le format de sortie, les sujets à éviter et la gestion des cas limites. Bien que ces agents fonctionnent parfaitement pour les 20 à 30 premiers échanges, la conformité commence à faiblir vers les messages 40-50.
Problèmes spécifiques observés :
- Les agents cessent de suivre les règles de formatage
- Ils deviennent "utiles" de manières que les instructions système interdisent explicitement
- Ils oublient des contraintes qui étaient claires au départ
L'utilisateur note qu'il ne s'agit pas d'un bug mais plutôt du fonctionnement des fenêtres de contexte sous pression, avec les instructions système en compétition avec plus de 40 messages d'historique de conversation pour le poids attentionnel.
Solutions de contournement et solutions
L'utilisateur partage plusieurs approches pratiques qui ont fonctionné :
- Réaffirmer les règles critiques : Tous les 15-20 messages, réaffirmez les 3 règles les plus importantes que vous ne pouvez pas vous permettre de perdre sous forme condensée (pas l'intégralité des instructions système)
- Maintenir des conversations plus courtes : Si une tâche nécessite plus de 30 échanges, commencez une nouvelle session avec un résumé de ce qui s'est passé
- Placement stratégique des instructions : Placez vos contraintes les plus importantes au début ET à la fin des instructions système, car les modèles accordent plus d'attention à ces deux positions
- Tester à grande échelle : Testez vos agents au message 50, pas seulement au message 5, car les démonstrations de cas idéaux ne révèlent pas ce problème
L'utilisateur souligne que ce problème n'est pas suffisamment discuté et invite les autres à partager des modèles fiables pour maintenir l'adhésion aux instructions dans les sessions de longue durée.
📖 Lire la source complète : r/ClaudeAI
👀 See Also
Fuite de l'OS AI léger de Windows 11 basé sur Edge, non publié par Microsoft
Une version allégée de Windows 11 AI OS de Microsoft, centrée sur Edge, a fuité. Destinée aux appareils modestes et aux workflows IA, elle intègre Edge comme composant principal.
Les centres de données d'IA augmentent les températures locales jusqu'à 9,1 °C, selon une étude
Une étude de l'Université de Cambridge a révélé que les centres de données d'IA augmentent la température de surface terrestre de 2°C en moyenne après le début de leurs opérations, avec des cas extrêmes atteignant des hausses de 9,1°C affectant des zones jusqu'à 10 kilomètres à la ronde.
Explorer le monde dynamique des machines en mouvement
Découvrez comment les agents de codage alimentés par l'IA transforment l'industrie dans la dernière discussion de la communauté technologique. Plongez dans les perspectives d'OpenClawRadar alors que nous mettons en lumière les aspects clés de cette technologie en évolution.
TabFM : Le modèle de base zéro-shot de Google pour la classification et la régression de données tabulaires
TabFM applique l'apprentissage contextuel aux données tabulaires, éliminant le réglage des hyperparamètres et l'ingénierie des caractéristiques pour la classification et la régression. Disponible sur Hugging Face et GitHub.