Claude Haikuをゲートキーパーとして活用し、Sonnet APIコストを80%削減

開発者が、Claude AIモデルを介して大量の非構造化テキストを処理するためのコスト削減パターンを共有しました。このアプローチでは、Claude Haikuをゲートキーパーとして使用して無関係なコンテンツをフィルタリングし、価値のあるデータのみを高価なClaude Sonnetモデルに送信します。

課題と解決策

開発者はPainSignal（painsignal.net）というプラットフォームを構築し、さまざまな業界の労働者や経営者から数千件の実際のコメントを収集し、それらを構造化されたアプリのアイデアに分類しています。入力の大部分は「すごい動画」や「一番乗り」などの無意味なコメントやランダムなノイズでした。これらすべてをSonnetに送信すると、非常に高額なコストがかかります。

2段階パイプライン

第1段階 — Haikuをゲートとして: すべてのコメントはまずHaikuに送信され、シンプルなプロンプト「このコメントには、誰かの仕事に関連する実際の不満、苦情、または未解決のニーズが含まれていますか？」で評価されます。Haikuははい/いいえと信頼度スコアを返します。この処理は1回あたり数セント以下で、入力の約85%をフィルタリングします。

第2段階 — Sonnetによる本格的な処理: ゲートを通過したコメントのみがSonnetに送信されます。ここで高価な処理が行われます — 核心的な問題点を抽出し、業界やカテゴリに分類し（事前定義されたリストはなく、動的に分類体系を構築）、深刻度スコアを割り当て、機能や収益モデルを含むアプリのコンセプトを生成します。

結果と実装の詳細

その結果、Sonnetを総入力の約15%に対してのみ実行することで、数千件のコメントを処理する際に大幅なコスト削減を実現しました。

実装から得られた主な学び:

• Haikuはゲートの役割で驚くほど優れており、実際の苦情を一貫して捕捉し、見逃しはほとんどありません
• 動的な分類体系アプローチ（事前にカテゴリを定義するのではなく、Sonnetに決定させる）により、開発者が思いもよらなかったカテゴリが見つかりました
• Sonnet側ではバッチ処理が有効です — すべての処理はBullMQを介してキューイングされ、APIに過負荷をかけないように制御されたバッチで処理されます

システム全体は、Claude Codeを使用してNext.js、pgvectorを備えたPostgres、および関連技術で構築されました。