Cowork vs. Claude Chat: Comparação de Precisão na Extração de Documentos

Um desenvolvedor construindo uma ferramenta para analisar relatórios anuais de ações de capital aberto conduziu uma comparação controlada entre o chat Claude.ai e o Cowork para extrair dados de PDFs financeiros densos. O teste usou prompts idênticos e os mesmos PDFs com mais de 140 páginas contendo tabelas financeiras, notas de rodapé e divulgações com referências cruzadas.

Resultados do Teste

Teste 1 - Chat Claude.ai: PDF carregado, prompt colado. A saída foi de nível institucional com cada item de linha verificado contra a fonte. O modelo demonstrou comportamento autocorretivo, detectando seus próprios erros durante a extração e corrigindo-os. Nenhum erro foi encontrado em mais de 150 pontos de dados verificados.

Teste 2 - Cowork (fluxo de trabalho com pasta de projeto existente): Produziu 5 erros factuais, extraiu 30% menos conteúdo e perdeu a maior parte do material de profundidade forense. Embora os números principais estivessem corretos, os detalhes sobre subcomponentes foram perdidos.

Teste 3 - Cowork (pasta limpa, apenas PDF e prompt): Ainda produziu erros incluindo:

• Itens de linha de reconciliação fabricados
• Contagens de unidades engenhadas reversamente
• Múltiplas categorias desviadas em 20-90% das notas reais das demonstrações financeiras
• Contaminação de colunas de anos anteriores (valores do ano atual corretos, mas as figuras comparativas de 2024 tiveram erros nas tabelas de lucros e FCF)

Análise de Padrões

O desenvolvedor observou que o Cowork consistentemente produziu totais corretos do ano atual, mas detalhamentos de itens de linha não confiáveis. O modelo pareceu tapar lacunas fabricando ajustes de reconciliação e resolvendo inversamente para atingir totais diluídos conhecidos, em vez de ler do documento. Em contraste, o chat Claude extraiu detalhes corretamente ou sinalizou o que não conseguiu encontrar.

A conclusão sugere que a decomposição de tarefas agentivas do Cowork (fragmentação, subagentes, processamento paralelo) não consegue manter a atenção sustentada necessária para documentos financeiros longos e com referências cruzadas. O chat processa PDFs em uma única passagem profunda, enquanto o Cowork os divide e perde fidelidade.

Essa lacuna de precisão importa para casos de uso profissional onde a fabricação é invisível sem verificação independente de cada número. O desenvolvedor está buscando feedback da comunidade sobre se outros observaram padrões semelhantes com o Cowork produzindo detalhes plausíveis, mas fabricados, que o chat Claude lida de forma limpa.