Diagnostic du cache de prompts Claude : Un fil de statistiques révèle un taux de lecture du cache de 98,9 %

Il y a deux jours, Anthropic a publié la fonctionnalité diagnostics du cache d'invite dans Claude Console. C'est un outil pour aider les développeurs à comprendre pourquoi une requête manque le cache et à réduire les coûts. Un développeur (u/samuelroy_) a partagé ses statistiques dans un fil communautaire, dans le but de trouver des schémas et d'améliorer les performances du cache pour tous.

Statistiques clés de la source

• Taux global de lecture du cache : 98,9 %
• 80 % des échecs de cache sont dus à messages modifiés.
• Amortissement d'écriture pour Sonnet : 3,69x

Le développeur a noté que son projet est conçu pour uniquement ajouter des messages à l'historique, ce qui rend le taux élevé d'échecs dus à messages modifiés surprenant. L'explication probable est que les utilisateurs bifurquent les conversations, ce qui modifie la chaîne de messages.

Ce que cela signifie

La mise en cache des invites réduit les coûts et la latence. Avec un taux de lecture de 98,9 %, le développeur est déjà efficace, mais les données de diagnostic révèlent un domaine d'amélioration clair : réduire les modifications inutiles de messages. Si vous observez des schémas similaires, auditer la façon dont les conversations sont bifurquées ou modifiées pourrait améliorer les taux de succès du cache.

Pour référence, l'amortissement d'écriture (3,69x pour Sonnet) indique combien de fois une entrée de cache est écrite par rapport aux lectures. Une valeur plus basse est préférable.

Des analyses propriétaires comme celle-ci sont un pas en avant pour l'optimisation des coûts des API IA. D'autres fournisseurs devraient suivre.