RTX 5000 PRO 48GB liefert 4400 Tok/s Präzisions-Caching für Qwen3.6-27B
Ein Entwickler wagte das Experiment mit der RTX 5000 Pro 48GB (4300 $ inkl. Steuern) gegen ein Mac Studio – und die Zahlen rechtfertigen den Sprung: bis zu 4400 Token/Sekunde bei der Promptverarbeitung (PP) und 50–80 Tok/s bei der Textgenerierung (TG) mit Qwen3.6-27B-FP8 und einem vollpräzisen BF16-KV-Cache.
Hardware- und Kostenaufschlüsselung
- GPU-Kosten: 4300 $ (inkl. Steuern)
- Gesamtkosten: 5600 $ mit 64 GB RAM
- Kontextlimit: 200 K Token bei voller Präzision (BF16-KV-Cache)
Leistungsbenchmarks
- Promptverarbeitung: 4400 Tok/s
- Textgenerierung: 50–60 Tok/s bei sehr großen Prompts, bis zu 80 Tok/s bei kleineren
- Modell: Qwen3.6-27B-FP8 mit vollpräzisem Cache
- Stromverbrauch: Etwa die Hälfte eines Dual-RTX-5090-Setups
Wichtige Beobachtungen
Der Nutzer baute den PC ohne Vorkenntnisse und verließ sich dabei auf Claude Code (wobei 50 % des wöchentlichen Claude Code Max-Limits für die vLLM/Linux-Einrichtung aufgebraucht wurden). Ein Reddit-Beitrag mit genauen vLLM-Einstellungen für Qwen3.6-27B-FP8 mit BF16-Cache war die primäre Referenz. Der Autor merkt an, dass zwei RTX 5090s zwar leistungsstärker wären, aber zu deutlich höheren Kosten, mehr Lärm und höherem Stromverbrauch.
📖 Lies die vollständige Quelle: r/LocalLLaMA
👀 Siehe auch
Kimi K2.6 vs Claude Opus 4.7: Ein praktischer Coding-Vergleich bei einem Minetest-Mod + Google Sheets-Integration
Ein Entwickler testete Kimi K2.6 und Claude Opus 4.7 beim Bau eines Minetest-Bounty-Board-Mods mit TypeScript-Backend und Google-Sheets-Protokollierung. Opus bestand beide Aufgaben; Kimi bestand die lokale Aufgabe, scheiterte jedoch bei der Integration. Kosten: Opus ~3,59 $ lokal, 16,03 $ integriert; Kimi 0,39 $ lokal, 5,03 $ gescheitert.
PS3-Emulator-Entwickler bitten Entwickler, keine KI-generierten PRs mehr einzureichen
RPCS3-Betreuer haben öffentlich darum gebeten, dass Nutzer aufhören, Pull-Requests einzureichen, die von KI-Code-Agenten erstellt wurden, und begründen dies mit geringer Qualität und hohem Wartungsaufwand.
KI erlernt die 'dunkle Kunst' des RFIC-Designs – schnellere Chips, ohne menschliche Intuition
Princeton-Forscher nutzen Reinforcement Learning und inverses Design, um HF-ICs von Grund auf neu zu entwickeln. Diffusionsmodelle erzeugen neuartige Layouts mit Rekordleistung und verkürzen die Entwicklungszeit drastisch.
Claude Sonnet 4.6 schlägt Opus 4.6 bei der Ausführung im Prompt-Benchmark
Ein Reddit-Benutzer reichte einen komplexen Prompt sowohl bei Sonnet 4.6 als auch bei Opus 4.6 ein; das Sonnet-Modell lieferte eine überlegene Antwort, bewertet nach Kreativität und versteckten Anforderungen.