Analyse von Claudes Token-Verbrennung bei 1M Kontextfenster: Daten zeigen unbegrenztes Wachstum und kumulierte Cache-Fehlschläge
Token-Verbrauchsanalyse aus realen Nutzungsdaten
Eine detaillierte Analyse der Implementierung von Claudes 1-Millionen-Token-Kontextfenster zeigt spezifische technische Faktoren, die einen schnellen Token-Verbrauch verursachen. Der Autor analysierte JSONL-Sitzungsdateien über mehrere Konversationen hinweg, um Muster zu identifizieren.
Wichtige Erkenntnisse aus den Daten
Unbegrenztes Kontextwachstum: Vor dem 1-Millionen-Token-Kontextfenster wurde die automatische Komprimierung bei etwa 160.000 Token ausgelöst. Nach der 1-Millionen-Implementierung ist diese Obergrenze weg, sodass Sitzungen regelmäßig 500.000+ Token erreichen. Jede Eingabe sendet den gesamten Kontext erneut, was bedeutet, dass bei 500.000 Token selbst eine einfache Bestätigung 500.000 Token kostet. Wenn Claude 3 Tool-Aufrufe tätigt, um eine Eingabe zu beantworten, sind das 1,5 Millionen Token für eine einzige Interaktion.
Verstärkung durch Cache-Fehlzugriffe: Anthropic speichert den Kontext serverseitig für etwa 5 Minuten zwischen. Nach diesem Zeitfenster verarbeitet die nächste Eingabe den gesamten Kontext erneut, was etwa das 10-fache des zwischengespeicherten Preises kostet. Obwohl die Cache-Fehlzugriffsrate unverändert geblieben ist (etwa 2,5 % der Interaktionen), ist ein Cache-Fehlzugriff bei 500.000 Token-Kontext deutlich teurer als bei 150.000 Token-Kontext.
Analysetool
Der Autor hat ein Python-Skript erstellt, das Token-Zählungen aus Claude-JSONL-Sitzungsdateien analysiert, ohne auf den Konversationsinhalt zuzugreifen. Das Skript erkennt automatisch Ihr Claude-Datenverzeichnis und benötigt matplotlib und numpy. Das Skript ist verfügbar unter: https://github.com/RyanSeanPhillips/cldctrl/blob/master/docs/context_analysis.py
Der Autor erwähnt auch CLD CTRL (https://github.com/RyanSeanPhillips/cldctrl), ein Terminal-Dashboard zum Starten und Überwachen von Claude Code-Sitzungen, Token-Verbrauch und Projektaktivitäten.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
Entwicklers Obsidian-KI-Agenten-Projekt wird über Nacht viral
Ein Doktorand baute ein Team von KI-Agenten, um seinen Obsidian-Vault zu verwalten, teilte es auf GitHub und wachte nach weniger als 13 Stunden mit über 700 Sternen auf. Die plötzliche Aufmerksamkeit löste Panik aus, woraufhin das Repository vorübergehend privat gesetzt wurde, bevor es mit Verbesserungen wieder geöffnet wurde.
Andrej Karpathy tritt dem Pre-Training-Team von Anthropic bei, um die rekursive Selbstverbesserung mit Claude voranzutreiben
Andrej Karpathy, ehemaliger OpenAI-Mitbegründer, schließt sich unter Nick Josef dem Pre-Training-Team von Anthropic an, um ein neues Team aufzubauen, das sich darauf konzentriert, Claude zur Beschleunigung der Pre-Training-Forschung zu nutzen und so eine rekursive Selbstverbesserung zu ermöglichen.
OpenClaw-Benutzer berichten über hohe API-Kosten durch unpräzise Anfragen, Entwickler raten zu strukturierten Arbeitsabläufen.
Ein Reddit-Nutzer berichtet über eine 300-Dollar-Rechnung von Anthropic durch OpenClaw aufgrund vager Anweisungen, wobei die Community darauf hinweist, dass der Orchestrator am besten mit klaren Absichten und strukturierten Arbeitsabläufen funktioniert, anstatt als 'Wunscherfüller' für Wunschdenken zu agieren.
Metas MCI-Tool erfasst Mitarbeiterinteraktionen für KI-Training
Meta installiert eine Tracking-Software namens Model Capability Initiative (MCI) auf den Computern von US-Mitarbeitern, um Mausbewegungen, Tastenanschläge, Klicks und gelegentliche Bildschirmaufnahmen für das Training von KI-Modellen zu erfassen. Die Daten sollen die Fähigkeit der KI verbessern, menschliche Computerinteraktionen wie die Auswahl aus Dropdown-Menüs und die Verwendung von Tastenkombinationen nachzuahmen.