OpenClaw auf 2 modifizierten 2080 Ti lokal mit vLLM hosten: Praxiserfahrung
Ein Reddit-Benutzer auf r/openclaw beschreibt sein Setup für lokales KI-Hosting mit zwei modifizierten 22GB 2080 Ti GPUs, die von Alibaba gekauft und über NVLink verbunden sind, und verwendet vLLM anstelle von Ollama für Tensor-Parallelität. Ziel ist ein Modell mit 20-30B Parametern, und die Community wird um Empfehlungen gebeten, die für leichte Programmierarbeiten, Homelab-Wartung, RAG, E-Mail-Sortierung und Dokumentenerstellung geeignet sind – schwere Programmieraufgaben werden an einen Codex OAuth-Dienst delegiert.
Wichtige Details aus dem Beitrag:
- Hardware: 2x 22 GB (modifizierte) 2080 Ti von Alibaba, wahrscheinlich ehemalige Mining-Karten. NVLink-Brücke verbindet sie.
- Software: vLLM wurde explizit gegenüber Ollama gewählt, um Tensor-Parallelität über beide GPUs zu nutzen.
- Ziel: Ein lokales Modell im Bereich von 20-30B Parametern für OpenClaw ausführen, mit Aufgaben wie leichter Programmierung, Homelab-Verwaltung, RAG, E-Mail-Sortierung und Dokumentengenerierung.
- Benutzer äußern Reue über den Impulskauf und suchen nach Bestätigung oder praktischen Modellvorschlägen.
Die Community-Diskussion (unten verlinkt) bietet Erfahrungsberichte ähnlicher Setups, Modellvorschläge (z. B. CodeLlama, DeepSeek Coder oder Allzweckmodelle wie Mixtral 8x7B) sowie Tipps zur Speicheroptimierung und zum Prompt-Engineering für vLLM. Einige Kommentatoren warnen vor der Zuverlässigkeit der modifizierten GPUs und empfehlen, zuerst mit kleineren Modellen zu testen.
📖 Read the full source: r/openclaw
👀 Siehe auch
Erstellen eines Steam-Spiels in 10 Tagen mit Claude Code: Technische Herausforderungen und Arbeitsablauf
Ein Entwickler hat ein Spiel auf Steam in 10 Tagen mit Claude Code erstellt und veröffentlicht, ohne selbst Code zu schreiben, stieß jedoch auf erhebliche Herausforderungen bei der Logikgestaltung und dem Debugging von KI-generiertem Code.
Claude Code vs Codex: Aufschlüsselung eines praktischen Experiments mit 6 Projekten
Ein praktischer Experiment, das Claude Code und Codex in 6 Projekten vergleicht – Web, Backend und freie Challenge – mit gegenseitigen Reviews, Selbstaudits und Bewertungen.
SDR nutzt KI-generierte Video-Follow-ups, um kalte D2C-Interessenten wieder zu aktivieren
Ein SDR (Sales Development Representative) bei einem SaaS-Unternehmen, das D2C-Marken (Direct-to-Consumer) beliefert, berichtet von Erfolg mit KI-generierten Video-Nachfolgeaktionen anstelle von Text-E-Mails. Der Workflow umfasst das Verfassen einer Eingabeaufforderung in Claude, das Erstellen eines Videos mit Magic Hour und optional das Nachbearbeiten der Sprachausgabe mit ElevenLabs.
Entwickler teilt SALT-System-Prompt-Ansatz für kollaborativere KI-Interaktionen
Ein Entwickler mit über 80 Claude-Sitzungen stellte fest, dass die Behandlung der KI als Teilnehmer statt als Werkzeug die Ausgabequalität verbesserte. Das daraus resultierende SALT-Systemprompt-Framework ist auf GitHub verfügbar.