Les modèles d'IA manquent de connaissance de leurs propres outils et interfaces utilisateur.

Un défaut critique d'utilisabilité dans les assistants de codage IA a été identifié : les modèles comme ChatGPT et Claude manquent fréquemment de connaissances précises sur leurs propres outils et interfaces utilisateur. Lorsque les utilisateurs posent des questions sur les fonctionnalités visibles à l'écran, l'IA répond souvent avec des informations incorrectes.

Exemples spécifiques du problème

Selon les rapports des utilisateurs, ces modèles présentent plusieurs schémas d'échec constants :

• Nier les fonctionnalités existantes : Lorsque Claude Code affiche une nouvelle commande slash et que les utilisateurs demandent à quoi elle sert, le modèle nie l'existence de cette commande.
• Décrire des versions obsolètes : Lorsqu'on interroge sur des fonctionnalités comme la mémoire, les intégrations ou les paramètres dans ChatGPT, le modèle fournit des réponses basées sur des versions de l'interface utilisateur datant de 1 à 2 ans.
• Inventer des explications plausibles : Les modèles inventent parfois des explications qui semblent raisonnables mais ne correspondent pas à la fonctionnalité réelle.

Solutions de contournement actuelles et leurs limites

La seule solution de contournement disponible consiste à forcer l'IA à "rechercher" via la fonctionnalité de récupération web, mais cette approche présente des problèmes significatifs :

• Les opérations de récupération échouent souvent complètement
• L'IA accède fréquemment à une documentation incorrecte
• Le contenu peut être inaccessible en raison de problèmes d'autorisations ou de disponibilité

Analyse de la cause racine

Le problème fondamental découle de l'inadéquation entre la méthodologie d'entraînement de l'IA et les cycles de développement des produits. Ces modèles sont entraînés sur des instantanés historiques de données, mais les produits dans lesquels ils sont intégrés évoluent continuellement. Cela crée une situation où l'IA devient désynchronisée avec l'outil même qu'elle est censée aider les utilisateurs à utiliser.

Pourquoi il s'agit d'un défaut de conception critique

Lorsqu'une IA est intégrée dans une interface produit, elle doit maintenir une connaissance précise et à jour de :

• Ses propres fonctionnalités
• Sa propre interface utilisateur
• Ses propres commandes et capacités

Sans cette connaissance de soi, l'IA nuit activement à l'utilisabilité plutôt que de l'améliorer, créant de la confusion et réduisant la confiance dans l'outil.

Solutions proposées

La source suggère plusieurs améliorations architecturales :

• Une couche de "connaissance de soi" structurée et en direct au sein du produit, fonctionnant comme une API interne ou un schéma des fonctionnalités actuelles
• Un petit modèle spécifiquement entraîné sur l'interface utilisateur et les capacités actuelles, mis à jour continuellement
• Un système de requêtes où le modèle principal peut accéder à cette couche de connaissance de soi lorsqu'il répond à des questions liées au produit

Le principe fondamental est que l'IA devrait pouvoir introspecter son propre environnement plutôt que de deviner sur la base de données d'entraînement obsolètes.