Pesquisadores Usam Projetos Claude para Revisão de Escopo Acadêmica: Pontos Fortes e Limitações

Claude como Assistente de Pesquisa em Revisão Acadêmica

Pesquisadores conduziram uma revisão de escopo revisada por pares publicada na Artificial Intelligence in Education (Emerald, acesso aberto) usando o Claude Projects para analisar 39 estudos qualitativos de entrevista de 20 países sobre como os estudantes vivenciam a IA generativa no ensino superior.

O que Funcionou Bem

• Cruzamento de referências de temas entre artigos a partir de dados estruturados em planilhas
• Ampliação da memória humana em um grande conjunto de dados
• Sugestão de categorias analíticas que os pesquisadores não haviam considerado
• Atuando como um "par crítico" para análise temática iterativa

O que Não Funcionou Bem

• A análise inicial de CSV foi imprecisa e incompleta
• Propenso a alucinações quando as saídas não eram rigorosamente verificadas em relação à planilha de origem
• Poderia ser "preguiçoso", não executando totalmente as solicitações
• Respostas bajuladoras exigiam solicitação explícita para crítica
• A curva de aprendizado significava que não era realmente mais eficiente no geral (paradoxo da produtividade)

Detalhes de Implementação

Os pesquisadores não carregaram artigos completos devido a considerações de direitos autorais e éticas. Em vez disso, carregaram suas próprias anotações estruturadas no Claude Projects. O desempenho melhorou significativamente quando o suporte a .xls foi adicionado e novamente com o Sonnet 3.7.

Os pesquisadores concluíram que o Claude foi útil como assistente de pesquisa, mas exigiu a mesma supervisão que você daria a um colega competente, mas não confiável. Cada saída teve que ser verificada em relação aos dados originais. Eles planejam usá-lo novamente, mas apenas porque agora entendem seus modos específicos de falha.

O artigo está disponível em acesso aberto sob licença CC BY 4.0 em https://doi.org/10.1108/AIIE-06-2025-0151.