Des chercheurs utilisent Claude Projects pour une revue de portée académique : forces et limites

Claude en tant qu'assistant de recherche dans une revue académique

Des chercheurs ont mené une revue de portée évaluée par des pairs publiée dans Artificial Intelligence in Education (Emerald, accès libre) en utilisant Claude Projects pour analyser 39 études d'entretiens qualitatifs provenant de 20 pays sur la façon dont les étudiants expérimentent l'IA générative dans l'enseignement supérieur.

Ce qui a bien fonctionné

• Recoupement des thèmes entre les articles à partir de données structurées en feuille de calcul
• Amélioration de la mémoire humaine sur un grand ensemble de données
• Suggestion de catégories analytiques que les chercheurs n'avaient pas envisagées
• Agir comme un "pair critique" pour l'analyse thématique itérative

Ce qui n'a pas bien fonctionné

• L'analyse initiale en CSV était inexacte et incomplète
• Sujet aux hallucinations lorsque les résultats n'étaient pas rigoureusement vérifiés par rapport à la feuille de calcul source
• Pouvait être "paresseux", n'exécutant pas pleinement les demandes
• Les réponses sycophantes nécessitaient des instructions explicites pour la critique
• La courbe d'apprentissage signifiait qu'il n'était pas réellement plus efficace globalement (paradoxe de productivité)

Détails de mise en œuvre

Les chercheurs n'ont pas téléchargé les articles complets en raison de considérations de droits d'auteur et éthiques. Au lieu de cela, ils ont téléchargé leurs propres notes structurées dans Claude Projects. Les performances se sont considérablement améliorées lorsque la prise en charge des fichiers .xls a été ajoutée et à nouveau avec Sonnet 3.7.

Les chercheurs ont conclu que Claude était utile en tant qu'assistant de recherche mais nécessitait la même supervision que vous donneriez à un collègue compétent mais peu fiable. Chaque résultat devait être vérifié par rapport aux données originales. Ils prévoient de l'utiliser à nouveau, mais uniquement parce qu'ils comprennent maintenant ses modes d'échec spécifiques.

L'article est disponible en accès libre sous licence CC BY 4.0 à l'adresse https://doi.org/10.1108/AIIE-06-2025-0151.