Cowork против Claude Chat: Сравнение точности извлечения документов

Разработчик, создающий инструмент для анализа годовых отчетов публично торгуемых акций, провел контролируемое сравнение между чатом Claude.ai и Cowork для извлечения данных из плотных финансовых PDF-файлов. Тест использовал идентичные промпты и те же PDF-файлы объемом более 140 страниц, содержащие финансовые таблицы, сноски и перекрестные ссылки в раскрытиях.

Результаты тестирования

Тест 1 - Чат Claude.ai: Загружен PDF, вставлен промпт. Результат был институционального уровня, каждая позиция проверена по источнику. Модель продемонстрировала самокорректирующее поведение, исправляя собственные ошибки в процессе извлечения. Не было обнаружено ошибок по более чем 150 проверенным точкам данных.

Тест 2 - Cowork (рабочий процесс с существующей папкой проекта): Допущено 5 фактических ошибок, извлечено на 30% меньше контента и пропущена большая часть материалов, требующих глубокого анализа. Хотя основные цифры были правильными, детали по субкомпонентам были утеряны.

Тест 3 - Cowork (чистая папка, только PDF и промпт): Все равно допущены ошибки, включая:

• Сфабрикованные согласующие позиции
• Обратно спроектированные подсчеты единиц
• Несколько категорий отклонялись на 20-90% от фактических примечаний к финансовой отчетности
• Загрязнение данных из колонок предыдущего года (цифры текущего года правильные, но сравнительные показатели за FY2024 содержали ошибки в таблицах прибыли и свободного денежного потока)

Анализ паттернов

Разработчик отметил, что Cowork последовательно выдавал правильные итоги за текущий год, но ненадежные разбивки по позициям. Модель, по-видимому, маскировала пробелы, фабрикуя согласующие вставки и обратно решая уравнения для достижения известных разводненных итогов, вместо чтения документа. В отличие от этого, чат Claude либо правильно извлекал детали, либо отмечал то, что не мог найти.

Вывод предполагает, что агентское декомпозирование задач Cowork (разбиение на части, суб-агенты, параллельная обработка) не может поддерживать устойчивое внимание, необходимое для длинных, перекрестно ссылающихся финансовых документов. Чат обрабатывает PDF-файлы за один глубокий проход, в то время как Cowork разбивает их и теряет точность.

Этот разрыв в точности важен для профессиональных случаев использования, где фабрикация невидима без независимой проверки каждого числа. Разработчик ищет обратную связь сообщества о том, наблюдали ли другие подобные паттерны, когда Cowork выдает правдоподобные, но сфабрикованные детали, которые чат Claude обрабатывает чисто.