Analizando el Consumo de Tokens en la Ventana de Contexto de 1 Millón de Claude: Los Datos Muestran Crecimiento Ilimitado y Acumulación de Fallos de Caché
Análisis del Consumo de Tokens a partir de Datos de Uso Real
Un análisis detallado de la implementación de la ventana de contexto de 1 millón de tokens de Claude revela factores técnicos específicos que causan un consumo rápido de tokens. El autor analizó archivos de sesión JSONL a través de múltiples conversaciones para identificar patrones.
Hallazgos Clave a partir de los Datos
Crecimiento Ilimitado del Contexto: Antes de la ventana de contexto de 1 millón de tokens, la compactación automática se activaba aproximadamente a los 160K tokens. Después de la implementación de 1 millón, este límite desaparece, permitiendo que las sesiones alcancen regularmente 500K+ tokens. Cada solicitud reenvía todo el contexto, lo que significa que a 500K tokens, incluso una simple confirmación cuesta 500K tokens. Si Claude realiza 3 llamadas a herramientas para responder a una solicitud, eso son 1.5 millones de tokens para una sola interacción.
Compounding de Fallas de Caché: Anthropic almacena en caché el contexto en el servidor durante aproximadamente 5 minutos. Después de esta ventana, la siguiente solicitud reprocesa el contexto completo a aproximadamente 10 veces el precio en caché. Aunque la tasa de fallas de caché no ha cambiado (permaneciendo en aproximadamente el 2.5% de los turnos), una falla de caché en un contexto de 500K es significativamente más costosa que una en un contexto de 150K.
Herramienta de Análisis
El autor creó un script de Python que analiza los recuentos de tokens de los archivos de sesión JSONL de Claude sin acceder al contenido de la conversación. El script detecta automáticamente tu directorio de datos de Claude y requiere matplotlib y numpy. El script está disponible en: https://github.com/RyanSeanPhillips/cldctrl/blob/master/docs/context_analysis.py
El autor también menciona CLD CTRL (https://github.com/RyanSeanPhillips/cldctrl), un panel de control de terminal para lanzar y monitorear sesiones de Claude Code, uso de tokens y actividad del proyecto.
📖 Read the full source: r/ClaudeAI
👀 Ver también
Un ejecutivo de Microsoft sugiere que los agentes de IA podrían requerir licencias de software como "oportunidades de puestos".
El ejecutivo de Microsoft Rajesh Jha sugiere que los agentes de IA podrían necesitar sus propias licencias de software, con cada agente contando como un 'asiento' en los sistemas empresariales. Esto contrasta con las opiniones de que la IA reducirá el número de licencias al reemplazar a los usuarios humanos.
YC-Bench: Pruebas de Referencia que Evalúan a los LLM como CEOs de Startups, GLM-5 Demuestra una Fuerte Relación Costo-Eficiencia
Los investigadores crearon YC-Bench, un punto de referencia donde los LLM actúan como directores ejecutivos de startups simuladas durante un año, gestionando empleados, contratos y nóminas. GLM-5 logró un promedio de 1,21 millones de dólares en fondos finales a 7,62 dólares por ejecución, desempeñándose dentro del 5% de Claude Opus 4.6, que costó 86 dólares por ejecución.
Plataforma Claude en AWS ya disponible de forma general: Agentes gestionados, ejecución de código y paridad total de API a través de IAM
La plataforma Claude en AWS ofrece las funciones nativas de la API de Claude (Agentes administrados, ejecución de código, habilidades) a los clientes de AWS con autenticación IAM, registro en CloudTrail y descuento por compromiso.
Claude-Code v2.1.51: Correcciones de seguridad, mejoras de rendimiento y nueva función de control remoto
Claude-Code v2.1.51 agrega un subcomando de control remoto para compilaciones externas, corrige dos vulnerabilidades de seguridad en hooks, mejora el rendimiento de BashTool y reduce el uso de contexto al persistir resultados grandes de herramientas en disco a partir de 50K caracteres.