La recherche montre qu'une communication coopérative, et non l'ingénierie, est la clé d'une incitation efficace de l'IA

Principes de communication plutôt qu'ingénierie

Une analyse Reddit de plus de 80 plaintes réelles d'utilisateurs concernant des interactions avec l'IA révèle qu'environ 60 % des frustrations ont une composante significative liée à la communication de l'utilisateur. Ces problèmes incluent des instructions vagues sans contexte sur le public ou l'objectif, aucun exemple de ce à quoi ressemble un résultat "bon", des objectifs flous, et des boucles de rétroaction où les utilisateurs disent "améliore-le" sans préciser ce que "mieux" signifie.

Les ~40 % restants sont de véritables limitations du modèle, incluant les hallucinations, la flagornerie, la régression des performances, la dérive de la fenêtre de contexte et la sur-filtration par sécurité. Lakera, une entreprise de sécurité IA dont la plateforme traite des millions d'interactions avec des LLM, est arrivée indépendamment à la même conclusion : "la plupart des échecs de prompts proviennent de l'ambiguïté, pas des limitations du modèle."

Le cadre de communication

Des chercheurs en linguistique, IHM et IA ont constaté que les principes qui font fonctionner la conversation humaine sont les mêmes que ceux qui font fonctionner la formulation des instructions pour l'IA. En 1975, le philosophe Paul Grice a identifié quatre maximes de communication coopérative :

• Quantité : Être suffisamment informatif
• Qualité : Être véridique
• Relation : Être pertinent
• Manière : Être clair

En 2024, les chercheurs d'IBM Miehling et al. ont étendu ce cadre avec deux nouvelles maximes spécifiquement pour l'interaction avec l'IA :

• Bienveillance : Ne pas générer de contenu nuisible
• Transparence : Reconnaître ce que l'on ne sait pas

Chaque mode d'échec majeur de l'IA correspond à l'une de ces six maximes. Les hallucinations représentent des violations de la maxime de Qualité. Les réponses excessivement verbeuses représentent des violations de la maxime de Quantité. La flagornerie représente des violations des maximes de Bienveillance et de Transparence.

Comprendre ces principes de communication aide à distinguer entre "J'ai donné un mauvais prompt" et "c'est une véritable limitation du modèle", permettant aux développeurs d'arrêter de reformuler sans fin des demandes vagues et de reconnaître plutôt les limitations, de réduire leur impact et de les contourner.