Benutzerdefinierte PTC für Claude Code zeigt 40-65 % Token-Einsparungen bei Analyseaufgaben, nicht beim Code-Schreiben.

Ein Entwickler hat eine lokale Implementierung von Programmatic Tool Calling (PTC) für Claude Code erstellt und 79 reale Nutzungssitzungen analysiert, um die tatsächlichen Vorteile zu messen. PTC unterscheidet sich vom normalen Tool Calling dadurch, dass der Agent Code schreibt, der in einer isolierten Umgebung ausgeführt wird, wobei nur die Endergebnisse in das Kontextfenster gelangen und nicht jeder Zwischenschritt.

Was wurde gebaut

Der Entwickler hat Thalamus erstellt, einen lokalen MCP-Server, der Claude Code PTC-ähnliche Fähigkeiten bietet. Er umfasst vier Tools: execute() (führt Python mit Primitiven aus), search, remember und context. Die Implementierung verfügt über 143 Tests, nutzt ausschließlich die Python-Standardbibliothek und läuft vollständig lokal. Der Entwickler betont, dass es sich um eine eigene Implementierung handelt, nicht um das offizielle PTC von Anthropic.

Gemessene Ergebnisse aus 79 Sitzungen

• Token-Fußabdruck pro Aufruf: execute() durchschnittlich ~2.600 Zeichen gegenüber Read mit durchschnittlich ~4.400 Zeichen
• JSONL-Größenreduktion: Sitzungen mit PTC zeigten eine Reduzierung um -15,6 %
• Einsparungen bei Analyse-/Rechercheaufgaben: 40-65 %
• Einsparungen bei Code-Schreibaufgaben: ~0 %

Der Entwickler merkt an, dass diese realen Zahlen „weit von den 98 %“ Einsparungen entfernt sind, die in optimalen Szenarien von Anthropic und Cloudflare berichtet wurden.

Wie der Agent execute() tatsächlich nutzt

Eine Inhaltsanalyse von 112 execute()-Aufrufen ergab:

• 64 % nutzten Standard-Python (os.walk, open, sqlite3, subprocess) – nicht die PTC-Primitive
• 30 % nutzten ein einzelnes Primitiv (ein fs.read oder fs.grep)
• 5 % führten echtes Batching durch (2+ kombinierte Primitive)

Das Muster „5 Reads durch 1 execute ersetzen“ trat nur in 5 % der tatsächlichen Nutzung auf. Der Agent nutzte execute() hauptsächlich als universelle Rechenumgebung für den Zugriff auf Dateien außerhalb des Projekts, das Ausführen von Aggregationen und das Abfragen von Datenbanken.

Nutzungsmuster

Erste Messungen zeigten, dass nur 25 % der Sitzungen PTC nutzten, wobei der Agent standardmäßig Read/Grep/Glob verwendete. Nachdem ein ~1.100 Token umfassendes Betriebshandbuch in CLAUDE.md hinzugefügt wurde, stieg die Nutzung auf 42,9 %. Sitzungen, die sich auf das Schreiben von Code konzentrierten (Edit + Bash dominant), zeigten keine PTC-Nutzung.

Der Entwickler kommt zu dem Schluss, dass PTC bei Analyse-, Debugging- und dateiübergreifenden Rechercheaufgaben glänzt, jedoch nicht in edit-lastigen Entwicklungs-Workflows.