Rapport de terrain : Le partenaire de recherche en IA échoue à l'examen par les pairs, incitant à la codification de la méthodologie.

Un géologue/géophysicien qui utilise Claude Opus pour des projets complexes, multi-fichiers et de plusieurs semaines a signalé un échec dans l'analyse de recherche assistée par IA. L'utilisateur a demandé à Claude d'évaluer de manière critique une étude financée par l'industrie éolienne offshore rapportant des taux élevés d'évitement des oiseaux par les éoliennes. Claude a produit une analyse confiante en six points avec des citations réelles et une présentation fluide.

Lorsque l'utilisateur a vérifié les sources, quatre points se sont effondrés. Les citations étaient réelles mais ne pouvaient pas supporter le poids qui leur était attribué - la littérature contextuelle était présentée comme une réfutation directe. L'étude présentait toujours des limites : petit échantillon, résultats uniquement terrestres, pas d'examen par les pairs. Les taux d'évitement étaient probablement réels pour les conditions testées, mais la question restait de savoir s'ils s'appliquent aux migrateurs nocturnes sur des éoliennes offshore éclairées.

L'utilisateur a dû reconstruire les preuves à partir de zéro pour produire une évaluation qui tient réellement debout. Il a ensuite codifié la méthodologie pour que les évaluations futures partent sur des bases solides dès le premier brouillon. L'utilisateur continue d'utiliser activement Claude pour l'analyse de recherche, notant que ces systèmes rendent cela durable.

L'utilisateur a fourni deux ressources : un article de blog détaillant l'expérience et un dépôt GitHub contenant la méthodologie codifiée. Le dépôt GitHub comprend une invite système pour les projets de recherche qui établit une discipline opérationnelle pour l'analyse assistée par IA.