Traza de Pila de LLM de Extremo a Extremo: Desde la Pulsación de Tecla hasta el Token Transmitido
Un ingeniero de software ha publicado un documento técnico detallado que rastrea exactamente lo que sucede en cada capa de la pila cuando envías un prompt a un LLM como Claude o ChatGPT. Inspirado en el clásico repositorio "qué-sucede-cuando" para la navegación del navegador, este documento proporciona una perspectiva de sistemas de producción sobre las interacciones de chat con LLM.
Lo que cubre el documento
El documento sigue el viaje completo en orden de producción:
- Lado del cliente: Conteo de tokens en vivo mediante tokenizadores WASM, eventos de composición IME, renderizado optimista de la interfaz de usuario
- Red: Por qué SSE gana sobre WebSockets para chat, problema de límite UTF-8 en la transmisión en flujo
- Puerta de enlace API: Terminación TLS en el borde, limitación de tasa multidimensional (RPM vs ITPM vs OTPM)
- Clasificadores de seguridad: Qué se ejecuta antes y después del modelo, por qué la inyección de prompts está estructuralmente sin resolver
- Ensamblaje de contexto: Qué realmente entra en la ventana de contexto (no son solo tus mensajes)
- Tokenización: Por qué los modelos no pueden contar letras, por qué los espacios iniciales importan, cómo los tokens especiales consumen presupuesto
- Caché KV y caché de prefijos: Matemáticas de memoria GQA vs MHA, PagedAttention, tasa de aciertos de caché como palanca de costo
- Prefill vs decode: Por qué tienen cuellos de botella diferentes (computación vs ancho de banda de memoria)
- Canalización de muestreo: La canalización completa de logits en orden — penalización por repetición, temperatura, top-k, top-p, softmax, muestra
- Transmisión en flujo: Desglose de TTFT, análisis de eventos SSE, renderizado incremental de markdown
- Uso de herramientas y bucles agentes: Llamadas paralelas a herramientas, reaparición de inyección de prompts en resultados de herramientas
- Facturación y observabilidad: TTFT vs TPOT, matemáticas de precios de caché, qué instrumentar
Detalles del documento
El documento está dirigido a ingenieros que ya comprenden los transformadores y quieren ver cómo funcionan realmente los sistemas de producción. Se publica bajo licencia CC0, y las contribuciones son bienvenidas. El autor señala varios subsistemas no cubiertos al final, incluida la decodificación especulativa, sistemas multimodales y coordinación multiagente.
El repositorio se creó para abordar la brecha entre las explicaciones de alto nivel "los transformadores son mágicos" y los artículos académicos que no conectan los conceptos con el comportamiento del sistema de producción.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
Cómo migrar OpenClaw y Hermes entre máquinas usando SSH de automigración
Un usuario transfirió OpenClaw y Hermes desde WSL2 Ubuntu en un portátil a una instancia EVO-X2 con WSL2 Ubuntu 2604 haciendo que las herramientas se conectaran por SSH y se migraran a sí mismas.
Claude Habilidades de Código vs. Agentes Personalizados: Un Modelo Mental Basado en la Consistencia de Tareas
Un usuario de Reddit aclara la distinción entre las habilidades de Claude Code y los agentes personalizados: las habilidades ejecutan los mismos pasos cada vez, mientras que los agentes personalizados requieren razonamiento y adaptación. La publicación también cubre subagentes paralelos, delegación, ganchos y bloques de construcción.
5 Verificaciones de Coherencia Antes de que Cualquier Perfil de OpenClaw se Active
Deja de perseguir el spoofing perfecto. La coherencia interna de las señales importa más. Verificaciones de TLS, configuración regional, WebGL, canvas y comportamiento de r/openclaw.
Optimización del Rendimiento en Java: Ocho Antipatrones que Ralentizan tu Código
Una aplicación de procesamiento de pedidos en Java mejoró de 1.198 ms a 239 ms en tiempo transcurrido, de 85.000 a 419.000 pedidos por segundo, y de 1 GB a 139 MB en uso de memoria heap al corregir ocho antipatrones comunes identificados mediante perfiles de Java Flight Recording.