Cowork vs. Claude Chat : Comparaison de la précision d'extraction de documents

Un développeur créant un outil pour analyser les rapports annuels d'actions cotées en bourse a réalisé une comparaison contrôlée entre Claude.ai chat et Cowork pour extraire des données de PDF financiers denses. Le test a utilisé des invites identiques et les mêmes PDF de plus de 140 pages contenant des tableaux financiers, des notes de bas de page et des divulgations avec renvois.

Résultats des tests

Test 1 - Claude.ai chat : PDF téléchargé, invite collée. La sortie était de qualité institutionnelle avec chaque poste vérifié par rapport à la source. Le modèle a démontré un comportement d'auto-correction, repérant ses propres erreurs en cours d'extraction et les corrigeant. Aucune erreur n'a été trouvée sur plus de 150 points de données vérifiés.

Test 2 - Cowork (flux de travail avec dossier de projet existant) : A produit 5 erreurs factuelles, extrait 30 % de contenu en moins et manqué la plupart du matériel de profondeur médico-légale. Bien que les chiffres principaux étaient corrects, les détails sur les sous-composants ont été perdus.

Test 3 - Cowork (dossier vierge, juste PDF et invite) : A encore produit des erreurs incluant :

• Postes de réconciliation fabriqués
• Décomptes d'unités rétroconçus
• Plusieurs catégories écartées de 20 à 90 % par rapport aux notes réelles des états financiers
• Contamination des colonnes de l'année précédente (les chiffres de l'année en cours corrects, mais les chiffres comparatifs de l'exercice 2024 présentaient des erreurs dans les tableaux de résultats et de flux de trésorerie)

Analyse des tendances

Le développeur a observé que Cowork produisait systématiquement des totaux corrects pour l'année en cours mais des ventilations par poste peu fiables. Le modèle semblait masquer les lacunes en fabriquant des ajustements de réconciliation et en résolvant à rebours pour atteindre des totaux connus dilués plutôt qu'en lisant le document. En revanche, Claude chat soit extrayait correctement les détails, soit signalait ce qu'il ne pouvait pas trouver.

La conclusion suggère que la décomposition des tâches agentiques de Cowork (découpage, sous-agents, traitement parallèle) ne peut maintenir l'attention soutenue requise pour les documents financiers longs et avec renvois. Chat traite les PDF en une seule passe approfondie, tandis que Cowork les fragmente et perd en fidélité.

Cet écart de précision est important pour les cas d'utilisation professionnels où la fabrication est invisible sans vérification indépendante de chaque chiffre. Le développeur cherche des retours de la communauté pour savoir si d'autres ont observé des tendances similaires avec Cowork produisant des détails plausibles mais fabriqués que Claude chat gère proprement.