Analyse von Claudes Token-Verbrennung bei 1M Kontextfenster: Daten zeigen unbegrenztes Wachstum und kumulierte Cache-Fehlschläge

Token-Verbrauchsanalyse aus realen Nutzungsdaten

Eine detaillierte Analyse der Implementierung von Claudes 1-Millionen-Token-Kontextfenster zeigt spezifische technische Faktoren, die einen schnellen Token-Verbrauch verursachen. Der Autor analysierte JSONL-Sitzungsdateien über mehrere Konversationen hinweg, um Muster zu identifizieren.

Wichtige Erkenntnisse aus den Daten

Unbegrenztes Kontextwachstum: Vor dem 1-Millionen-Token-Kontextfenster wurde die automatische Komprimierung bei etwa 160.000 Token ausgelöst. Nach der 1-Millionen-Implementierung ist diese Obergrenze weg, sodass Sitzungen regelmäßig 500.000+ Token erreichen. Jede Eingabe sendet den gesamten Kontext erneut, was bedeutet, dass bei 500.000 Token selbst eine einfache Bestätigung 500.000 Token kostet. Wenn Claude 3 Tool-Aufrufe tätigt, um eine Eingabe zu beantworten, sind das 1,5 Millionen Token für eine einzige Interaktion.

Verstärkung durch Cache-Fehlzugriffe: Anthropic speichert den Kontext serverseitig für etwa 5 Minuten zwischen. Nach diesem Zeitfenster verarbeitet die nächste Eingabe den gesamten Kontext erneut, was etwa das 10-fache des zwischengespeicherten Preises kostet. Obwohl die Cache-Fehlzugriffsrate unverändert geblieben ist (etwa 2,5 % der Interaktionen), ist ein Cache-Fehlzugriff bei 500.000 Token-Kontext deutlich teurer als bei 150.000 Token-Kontext.

Analysetool

Der Autor hat ein Python-Skript erstellt, das Token-Zählungen aus Claude-JSONL-Sitzungsdateien analysiert, ohne auf den Konversationsinhalt zuzugreifen. Das Skript erkennt automatisch Ihr Claude-Datenverzeichnis und benötigt matplotlib und numpy. Das Skript ist verfügbar unter: https://github.com/RyanSeanPhillips/cldctrl/blob/master/docs/context_analysis.py

Der Autor erwähnt auch CLD CTRL (https://github.com/RyanSeanPhillips/cldctrl), ein Terminal-Dashboard zum Starten und Überwachen von Claude Code-Sitzungen, Token-Verbrauch und Projektaktivitäten.