Agent-Frameworks verschwenden pro Sitzung über 350.000 Token durch erneutes Senden statischer Dateien.

Benchmark-Ergebnisse zum Token-Verschwendung

Messungen auf einem lokalen Qwen 3.5 122B-Setup ergaben, dass Agent-Frameworks pro Sitzung mehr als 350.000 Token verschwenden, indem sie statische Dateien wiederholt erneut senden. Die Quelle beschreibt diese Zahlen als "unrealistisch".

Optimierungsansatz

Es wurde ein Compile-Time-Ansatz entdeckt, der den Abfragekontext von 1.373 Token auf nur 73 Token reduziert. Dies entspricht einer Reduzierung der Token-Nutzung um 95 % für diesen spezifischen Kontext.

Der Benchmark ergab auch, dass eine naive JSON-Konvertierung das Problem um 30 % verschlimmert und die Token-Verschwendung über die Basiswerte hinaus erhöht.

Technischer Kontext

Agent-Frameworks enthalten typischerweise System-Prompts, Werkzeugdefinitionen und andere Konfigurationsdaten, die über mehrere Interaktionen innerhalb einer Sitzung statisch bleiben. Wenn diese Daten mit jeder Abfrage erneut gesendet werden, verbrauchen sie Token, ohne dem Modell neue Informationen zu liefern. Dies ist besonders kostspielig bei großen Modellen wie Qwen 3.5 122B, wo die Token-Verarbeitung sowohl die Leistung als auch die Kosten direkt beeinflusst.

Der Compile-Time-Ansatz beinhaltet wahrscheinlich die Vorverarbeitung statischer Elemente, sodass sie referenziert statt erneut gesendet werden, ähnlich wie moderne Webanwendungen statische Assets zwischenspeichern. Für Entwickler, die mit KI-Coding-Agenten arbeiten, kann die Reduzierung dieses Overheads die Antwortzeiten erheblich verbessern und die Betriebskosten senken.