Использование Claude Haiku в качестве фильтра для снижения затрат на API Sonnet на 80%

Разработчик поделился экономически эффективным подходом для обработки больших объёмов неструктурированного текста с помощью моделей Claude AI. Этот метод использует Claude Haiku в качестве фильтра для отсеивания нерелевантного контента перед отправкой только ценных данных в более дорогую модель Claude Sonnet.

Проблема и решение

Разработчик создал платформу под названием PainSignal (painsignal.net), которая собирает тысячи реальных комментариев от работников и владельцев бизнеса из разных отраслей, а затем классифицирует их в структурированные идеи для приложений. Большая часть входных данных была бесполезной — комментарии вроде "отличное видео", "первый" или случайный шум. Отправка всего этого в Sonnet была бы невероятно дорогой.

Двухэтапный конвейер

Этап 1 — Haiku в качестве фильтра: Каждый комментарий сначала обрабатывается Haiku с простым запросом: "Содержит ли этот комментарий реальное разочарование, жалобу или неудовлетворённую потребность, связанную с чьей-либо работой?" Модель возвращает да/нет и показатель уверенности. Это стоит доли цента за вызов и отфильтровывает около 85% входных данных.

Этап 2 — Sonnet для основной работы: Только комментарии, прошедшие фильтр, отправляются в Sonnet. Здесь происходит дорогостоящая обработка — модель извлекает основную проблему, классифицирует её по отрасли и категории (без предопределённого списка, таксономия строится динамически), присваивает оценку серьёзности и генерирует концепции приложений с функциями и моделями монетизации.

Результаты и детали реализации

В результате Sonnet обрабатывает примерно 15% от общего объёма входных данных вместо 100%, что обеспечивает значительную экономию при обработке тысяч комментариев.

Ключевые выводы из реализации:

• Haiku удивительно хорошо справляется с ролью фильтра — модель последовательно выявляет реальные жалобы с небольшим количеством ложноотрицательных результатов
• Динамический подход к таксономии (предоставление Sonnet возможности определять категории вместо их предварительного определения) выявил категории, о которых разработчик никогда бы не подумал
• Пакетная обработка помогает на стороне Sonnet — всё помещается в очередь через BullMQ и обрабатывается контролируемыми пакетами, чтобы избежать перегрузки API

Вся система была построена с помощью Claude Code с использованием Next.js, Postgres с pgvector и связанных технологий.