Hébergement local de vLLM sur 2x 2080 Ti modifiées pour OpenClaw : Expérience réelle
Un utilisateur de Reddit sur r/openclaw décrit sa configuration pour héberger une IA localement en utilisant deux GPU 2080 Ti modifiées de 22 Go achetées sur Alibaba, reliées par NVLink, et exécutant vLLM plutôt qu'Ollama pour le parallélisme tensoriel. Il vise un modèle de 20 à 30B de paramètres et demande à la communauté des recommandations adaptées à du codage léger, la maintenance d'un homelab, du RAG, le tri des e-mails et la création de documents, les tâches de codage lourdes étant déléguées à un service Codex OAuth.
Détails clés du message :
- Matériel : 2x 2080 Ti (modifiées) de 22 Go d'Alibaba, probablement d'anciennes cartes minières. Pont NVLink les interconnecte.
- Logiciel : vLLM choisi plutôt qu'Ollama explicitement pour tirer parti du parallélisme tensoriel sur les deux GPU.
- Objectif : Exécuter un modèle local dans la gamme de 20 à 30B de paramètres pour OpenClaw, avec des tâches incluant du codage léger, la gestion d'un homelab, du RAG, le tri des e-mails et la génération de documents.
- L'utilisateur exprime des regrets d'achat et cherche une validation ou des suggestions pratiques de modèles.
La discussion communautaire (lien ci-dessous) propose des retours d'expérience de configurations similaires, des recommandations de modèles (par exemple, CodeLlama, DeepSeek Coder, ou des modèles généralistes comme Mixtral 8x7B), ainsi que des astuces sur l'optimisation mémoire et l'ingénierie des invites pour vLLM. Certains commentateurs mettent en garde sur la fiabilité des GPU modifiés et suggèrent de tester d'abord avec des modèles plus petits.
📖 Lire la source complète : r/openclaw
👀 See Also
Utiliser Obsidian avec OpenClaw comme configuration de second cerveau
Un développeur partage sa configuration utilisant OpenClaw avec Obsidian comme système de second cerveau, mettant en œuvre QMD pour une recherche efficace de notes et un chargement de compétences à la demande, réduisant ainsi l'utilisation de tokens de 80 à 90 %.
Claude Code conçoit des cartes de visite imprimables via HTML + Playwright
Un utilisateur a automatisé la conception de cartes de visite en fournissant à Claude une photo de chat et un lien de site web, en itérant avec des captures d'écran Playwright jusqu'à la perfection, puis en imprimant sur du papier cartonné Avery via un modèle HTML en grille 2x5.
Cas pratiques d'OpenClaw tirés de l'expérience quotidienne
Un développeur partage six façons spécifiques dont il utilise OpenClaw quotidiennement, notamment la surveillance des prix des vols, le coaching santé et le polissage des e-mails, tout en notant ce qui n'a pas fonctionné comme la publication automatisée sur les réseaux sociaux.
Le modèle Qwen 27B démontre de solides performances pour l'analyse de lore en contexte long
Un utilisateur rapporte que Qwen 27B analyse efficacement des documents d'histoire denses de 80 000 tokens, surpassant d'autres modèles locaux comme Gemma 3 27B et Reka Flash pour des tâches détaillées de construction de mondes fantastiques. La quantification Q4-K-XL offre le meilleur équilibre vitesse/qualité pour les contextes longs.