End-to-End-LLM-Stapelverfolgung: Vom Tastendruck zum gestreamten Token
Ein Softwareingenieur hat ein detailliertes technisches Dokument veröffentlicht, das genau nachzeichnet, was auf jeder Ebene des Stacks passiert, wenn man eine Eingabeaufforderung an ein LLM wie Claude oder ChatGPT sendet. Inspiriert vom klassischen "what-happens-when"-Repository für Browser-Navigation bietet dieses Dokument eine Produktionssystem-Perspektive auf LLM-Chat-Interaktionen.
Was das Dokument abdeckt
Das Dokument folgt der gesamten Reise in Produktionsreihenfolge:
- Clientseitig: Live-Token-Zählung via WASM-Tokenizern, IME-Kompositionsereignisse, optimistisches UI-Rendering
- Netzwerk: Warum SSE gegenüber WebSockets für Chat gewinnt, UTF-8-Grenzproblem beim Streaming
- API-Gateway: Edge-TLS-Terminierung, mehrdimensionale Ratenbegrenzung (RPM vs ITPM vs OTPM)
- Sicherheitsklassifizierer: Was vor und nach dem Modell läuft, warum Prompt-Injection strukturell ungelöst ist
- Kontextzusammenstellung: Was tatsächlich ins Kontextfenster eingeht (es sind nicht nur Ihre Nachrichten)
- Tokenisierung: Warum Modelle keine Buchstaben zählen können, warum führende Leerzeichen wichtig sind, wie Sonder-Tokens Budget verbrauchen
- KV-Cache und Präfix-Caching: GQA vs MHA-Speicherberechnung, PagedAttention, Cache-Trefferquote als Kostenhebel
- Prefill vs Decode: Warum sie unterschiedlich limitiert sind (Rechenleistung vs Speicherbandbreite)
- Sampling-Pipeline: Die vollständige Logit-Pipeline in Reihenfolge – Wiederholungsstrafe, Temperatur, Top-k, Top-p, Softmax, Sample
- Streaming: TTFT-Aufschlüsselung, SSE-Ereignisparsing, inkrementelles Markdown-Rendering
- Tool-Nutzung und agentische Schleifen: Parallele Tool-Aufrufe, Wiederauftreten von Prompt-Injection in Tool-Ergebnissen
- Abrechnung und Beobachtbarkeit: TTFT vs TPOT, Cache-Preisberechnung, was instrumentiert werden sollte
Dokumentdetails
Das Dokument richtet sich an Ingenieure, die bereits Transformer verstehen und sehen möchten, wie Produktionssysteme tatsächlich funktionieren. Es ist unter CC0-Lizenz veröffentlicht und Beiträge sind willkommen. Der Autor listet am Ende mehrere nicht abgedeckte Subsysteme auf, darunter spekulatives Decoding, multimodale Systeme und Multi-Agent-Koordination.
Das Repository wurde erstellt, um die Lücke zwischen hochrangigen "Transformer sind Magie"-Erklärungen und akademischen Papieren zu schließen, die Konzepte nicht mit Produktionssystemverhalten verbinden.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
OpenClaw-Fehlermuster: 42 reale Vorfälle in 28 Tagen
Ein Entwickler, der OpenClaw täglich nutzt, dokumentierte 42 spezifische Fehler in acht Kategorien, darunter KI-Halluzinationen, Authentifizierungsprobleme und Automatisierung, die mehr Zeit kostet als sie spart. Die Quelle liefert konkrete Beispiele wie die 7-tägige Ablaufzeit von Google OAuth-Tokens und Opus 4.6, das unerwünschte Metadaten zu Dateien hinzufügt.
Lokale Claude-Code-Einrichtung mit Qwen3.5 27B über llama.cpp
Ein Entwickler teilt seine Konfiguration für den lokalen Betrieb von Claude Code mit Qwen3.5 27B und llama.cpp, einschließlich Umgebungsvariablen, Serverparametern und Leistungsbenchmarks über sieben Programmieraufgaben.
Praktischer Rahmen für die Auswahl zwischen Claudes Haiku-, Sonnet- und Opus-Modellen
Ein Entwickler testete Claudes drei Modelle an einer 400-Zeilen-Express.js-Refactoring-Aufgabe und stellte fest, dass der entscheidende Unterschied die Tiefe der Argumentation ist, nicht die Intelligenz. Haiku 4.5 bewältigte einfache Teile, verpasste jedoch die Reihenfolge der Middleware, Sonnet 4.6 erkannte das Reihenfolgeproblem und fügte TypeScript-Typen hinzu, während Opus 4.6 eine Sicherheitslücke in der Auth-Middleware identifizierte.
OpenClaw Workspace-Konfiguration: Erkenntnisse aus zwei Monaten Nutzung
Die Erfahrung eines Entwicklers mit OpenClaw zeigt, dass die Qualität des Arbeitsbereichs die Leistung des Agenten um das 5- bis 10-fache beeinflusst, mit spezifischen Anleitungen zu SOUL.md, AGENTS.md, MEMORY.md, USER.md und der Konfiguration von Fähigkeiten.