Diagnósticos de Caché de Mensajes de Claude: Hilo de Estadísticas Revela una Tasa de Lectura de Caché del 98.9%

Hace dos días, Anthropic lanzó la función de diagnósticos de caché de prompts en Claude Console. Es una herramienta para que los desarrolladores entiendan por qué una solicitud falla en la caché y reduzcan costos. Un desarrollador (u/samuelroy_) compartió sus estadísticas en un hilo comunitario, con el objetivo de encontrar patrones y mejorar el rendimiento de la caché en general.

Estadísticas Clave de la Fuente

• Ratio de lectura de caché general: 98.9%
• El 80% de los fallos de caché se deben a messages changed.
• Amortización de escritura para Sonnet: 3.69x

El desarrollador señaló que su proyecto está diseñado para solo añadir mensajes al historial, por lo que la alta tasa de fallos por messages changed fue sorprendente. La explicación probable es que los usuarios bifurcan conversaciones, lo que cambia la cadena de mensajes.

Qué Significa Esto

El almacenamiento en caché de prompts reduce costos y latencia. Con un ratio de lectura del 98.9%, el desarrollador ya es eficiente, pero los datos de diagnóstico revelan un área clara de mejora: reducir cambios innecesarios en los mensajes. Si ves patrones similares, auditar cómo se bifurcan o editan las conversaciones podría aumentar las tasas de acierto de caché.

Como referencia, la amortización de escritura (3.69x para Sonnet) indica cuántas veces se escribe una entrada de caché en relación con las lecturas. Un valor más bajo es mejor.

Analíticas de primera mano como esta son un paso adelante para la optimización de costos en APIs de IA. Se espera que otros proveedores sigan el ejemplo.