Verwendung von Claude Haiku als Gatekeeper zur Senkung der Sonnet-API-Kosten um 80 %

Ein Entwickler teilte ein kostensparendes Muster für die Verarbeitung großer Mengen unstrukturierten Texts durch Claude AI-Modelle. Der Ansatz nutzt Claude Haiku als Türsteher, um irrelevante Inhalte herauszufiltern, bevor nur wertvolle Daten an das teurere Claude Sonnet-Modell gesendet werden.

Das Problem und die Lösung

Der Entwickler baute eine Plattform namens PainSignal (painsignal.net), die Tausende echte Kommentare von Arbeitern und Geschäftsinhabern aus verschiedenen Branchen sammelt und sie dann in strukturierte App-Ideen klassifiziert. Der größte Teil der Eingaben war Müll – Kommentare wie „tolles Video“ oder „zuerst“ oder zufälliger Lärm. Alles an Sonnet zu senden, wäre unglaublich teuer gewesen.

Die zweistufige Pipeline

Stufe 1 – Haiku als Tor: Jeder Kommentar trifft zuerst auf Haiku mit einer einfachen Aufforderung: „Enthält dieser Kommentar eine echte Frustration, Beschwerde oder ein unerfülltes Bedürfnis im Zusammenhang mit der Arbeit einer Person?“ Es gibt eine Ja/Nein-Antwort und einen Konfidenzwert zurück. Dies kostet Bruchteile eines Cents pro Aufruf und filtert etwa 85 % der Eingaben heraus.

Stufe 2 – Sonnet für die eigentliche Arbeit: Nur die Kommentare, die das Tor passieren, gehen an Sonnet. Hier findet die teure Verarbeitung statt – es extrahiert den Kernschmerzpunkt, klassifiziert ihn in eine Branche und Kategorie (keine vordefinierte Liste, es baut die Taxonomie dynamisch auf), weist einen Schweregrad zu und generiert App-Konzepte mit Funktionen und Umsatzmodellen.

Ergebnisse und Implementierungsdetails

Das Ergebnis ist, dass Sonnet auf etwa 15 % der Gesamteingaben statt auf 100 % läuft, was massive Kosteneinsparungen bei der Verarbeitung Tausender Kommentare schafft.

Wichtige Erkenntnisse aus der Implementierung:

• Haiku ist überraschend gut in der Torwächter-Rolle – es erkennt echte Beschwerden konsequent mit wenigen falschen Negativen
• Der dynamische Taxonomie-Ansatz (Sonnet entscheiden zu lassen, anstatt Kategorien vorab zu definieren) fand Kategorien, an die der Entwickler nie gedacht hätte
• Batching hilft auf der Sonnet-Seite – alles wird über BullMQ in die Warteschlange gestellt und in kontrollierten Batches verarbeitet, um die API nicht zu überlasten

Das gesamte System wurde mit Claude Code unter Verwendung von Next.js, Postgres mit pgvector und verwandten Technologien aufgebaut.