Hébergement local de vLLM sur 2x 2080 Ti modifiées pour OpenClaw : Expérience réelle
Un utilisateur de Reddit sur r/openclaw décrit sa configuration pour héberger une IA localement en utilisant deux GPU 2080 Ti modifiées de 22 Go achetées sur Alibaba, reliées par NVLink, et exécutant vLLM plutôt qu'Ollama pour le parallélisme tensoriel. Il vise un modèle de 20 à 30B de paramètres et demande à la communauté des recommandations adaptées à du codage léger, la maintenance d'un homelab, du RAG, le tri des e-mails et la création de documents, les tâches de codage lourdes étant déléguées à un service Codex OAuth.
Détails clés du message :
- Matériel : 2x 2080 Ti (modifiées) de 22 Go d'Alibaba, probablement d'anciennes cartes minières. Pont NVLink les interconnecte.
- Logiciel : vLLM choisi plutôt qu'Ollama explicitement pour tirer parti du parallélisme tensoriel sur les deux GPU.
- Objectif : Exécuter un modèle local dans la gamme de 20 à 30B de paramètres pour OpenClaw, avec des tâches incluant du codage léger, la gestion d'un homelab, du RAG, le tri des e-mails et la génération de documents.
- L'utilisateur exprime des regrets d'achat et cherche une validation ou des suggestions pratiques de modèles.
La discussion communautaire (lien ci-dessous) propose des retours d'expérience de configurations similaires, des recommandations de modèles (par exemple, CodeLlama, DeepSeek Coder, ou des modèles généralistes comme Mixtral 8x7B), ainsi que des astuces sur l'optimisation mémoire et l'ingénierie des invites pour vLLM. Certains commentateurs mettent en garde sur la fiabilité des GPU modifiés et suggèrent de tester d'abord avec des modèles plus petits.
📖 Lire la source complète : r/openclaw
👀 See Also
Utilisateur d'OpenClaw passe à RunLobster pour une infrastructure gérée
Un développeur a passé 4 mois à résoudre des problèmes avec OpenClaw, notamment des agents bloqués, des configurations cassées et des coûts API imprévisibles, avant de passer à RunLobster. Les mêmes modèles et le même framework ont fonctionné de manière fiable avec des tâches en plusieurs étapes et des intégrations plus rapides.
Agent OpenClaw Implémente une Boucle d'Auto-Amélioration Autonome avec des Cycles de Rêve Nocturnes
Un utilisateur d'OpenClaw a configuré son agent pour exécuter un 'cycle de rêve' nocturne qui analyse la recherche en IA, réfléchit à ses performances et met en œuvre des améliorations de manière autonome et sécurisée. Le cycle coûte environ 0,40 $ par nuit grâce à un routage de modèles utilisant Haiku pour l'analyse et Opus pour les décisions.
Expérience d'OpenClaw pour un utilisateur non technique : les difficultés de configuration éclipsent les avantages de l'automatisation.
Un consultant indépendant non technique a testé OpenClaw pour automatiser des tâches répétitives, mais a rencontré des difficultés de configuration importantes qui ont éclipsé les avantages de l'automatisation de l'outil.
Utilisation d'Open Claw pour transcrire les Reels Instagram via un bot Telegram
Un utilisateur a configuré Open Claw avec une clé API Groq pour transcrire les liens de reels Instagram collés dans un chat Telegram, évitant ainsi un abonnement de 20 $/mois à TurboScribe.