Test de Claude Sonnet avec un jeu de société stratégique : défis d'adhésion aux règles

Tester des jeux de stratégie avec Claude Sonnet

Un développeur sur r/ClaudeAI a testé Claude Sonnet en jouant à OFMOS® Essential, un jeu de société stratégique breveté où les joueurs gèrent un portefeuille de produits sur une carte de positionnement. Le test consistait à jouer manuellement contre le modèle, invite par invite.

Détails de mise en œuvre

Le développeur a conçu une invite système structurée contenant :

• L'ensemble complet des règles d'OFMOS® Essential
• Une représentation textuelle du plateau
• Les définitions des actions
• Les instructions de calcul des scores
• Les directives de gestion des tours

Après chaque tour, Claude mettait à jour l'état du plateau et les scores en cours en fonction du système d'invites structuré.

Évaluation des performances

Claude Sonnet a démontré plusieurs capacités :

• A correctement compris les règles du jeu
• A articulé un raisonnement stratégique pendant le jeu
• A suivi les scores de manière cohérente tout au long de la partie

Cependant, le modèle a fréquemment effectué des mouvements illégaux. Le développeur a noté que ce comportement était attendu, car le système manquait d'une couche de génération de mouvements contraints, obligeant le modèle à s'autoréguler – une tâche où il échouait souvent.

Questions du développeur

Le développeur sollicite l'avis de la communauté sur des expériences similaires avec des jeux de société ou de stratégie, en demandant spécifiquement :

• Des expériences concernant le respect des règles dans différents modèles
• Des observations sur la profondeur stratégique dans le jeu de l'IA
• Quels modèles ont le mieux performé dans des scénarios similaires

Ce type de test est utile pour les développeurs travaillant avec des agents de codage IA afin de comprendre les limites pratiques des modèles de langage dans des environnements basés sur des règles où l'application précise des contraintes est requise.