RTX 5000 PRO 48GB liefert 4400 Tok/s Präzisions-Caching für Qwen3.6-27B

Ein Entwickler wagte das Experiment mit der RTX 5000 Pro 48GB (4300 $ inkl. Steuern) gegen ein Mac Studio – und die Zahlen rechtfertigen den Sprung: bis zu 4400 Token/Sekunde bei der Promptverarbeitung (PP) und 50–80 Tok/s bei der Textgenerierung (TG) mit Qwen3.6-27B-FP8 und einem vollpräzisen BF16-KV-Cache.

Hardware- und Kostenaufschlüsselung

• GPU-Kosten: 4300 $ (inkl. Steuern)
• Gesamtkosten: 5600 $ mit 64 GB RAM
• Kontextlimit: 200 K Token bei voller Präzision (BF16-KV-Cache)

Leistungsbenchmarks

• Promptverarbeitung: 4400 Tok/s
• Textgenerierung: 50–60 Tok/s bei sehr großen Prompts, bis zu 80 Tok/s bei kleineren
• Modell: Qwen3.6-27B-FP8 mit vollpräzisem Cache
• Stromverbrauch: Etwa die Hälfte eines Dual-RTX-5090-Setups

Wichtige Beobachtungen

Der Nutzer baute den PC ohne Vorkenntnisse und verließ sich dabei auf Claude Code (wobei 50 % des wöchentlichen Claude Code Max-Limits für die vLLM/Linux-Einrichtung aufgebraucht wurden). Ein Reddit-Beitrag mit genauen vLLM-Einstellungen für Qwen3.6-27B-FP8 mit BF16-Cache war die primäre Referenz. Der Autor merkt an, dass zwei RTX 5090s zwar leistungsstärker wären, aber zu deutlich höheren Kosten, mehr Lärm und höherem Stromverbrauch.