Hébergement local de vLLM sur 2x 2080 Ti modifiées pour OpenClaw : Expérience réelle
Un utilisateur de Reddit sur r/openclaw décrit sa configuration pour héberger une IA localement en utilisant deux GPU 2080 Ti modifiées de 22 Go achetées sur Alibaba, reliées par NVLink, et exécutant vLLM plutôt qu'Ollama pour le parallélisme tensoriel. Il vise un modèle de 20 à 30B de paramètres et demande à la communauté des recommandations adaptées à du codage léger, la maintenance d'un homelab, du RAG, le tri des e-mails et la création de documents, les tâches de codage lourdes étant déléguées à un service Codex OAuth.
Détails clés du message :
- Matériel : 2x 2080 Ti (modifiées) de 22 Go d'Alibaba, probablement d'anciennes cartes minières. Pont NVLink les interconnecte.
- Logiciel : vLLM choisi plutôt qu'Ollama explicitement pour tirer parti du parallélisme tensoriel sur les deux GPU.
- Objectif : Exécuter un modèle local dans la gamme de 20 à 30B de paramètres pour OpenClaw, avec des tâches incluant du codage léger, la gestion d'un homelab, du RAG, le tri des e-mails et la génération de documents.
- L'utilisateur exprime des regrets d'achat et cherche une validation ou des suggestions pratiques de modèles.
La discussion communautaire (lien ci-dessous) propose des retours d'expérience de configurations similaires, des recommandations de modèles (par exemple, CodeLlama, DeepSeek Coder, ou des modèles généralistes comme Mixtral 8x7B), ainsi que des astuces sur l'optimisation mémoire et l'ingénierie des invites pour vLLM. Certains commentateurs mettent en garde sur la fiabilité des GPU modifiés et suggèrent de tester d'abord avec des modèles plus petits.
📖 Lire la source complète : r/openclaw
👀 See Also
Examen de sécurité multi-agent exécuté quotidiennement en production : architecture et résultats
ultrathink.art exécute plus de 6 agents IA en production, dont un agent de sécurité dédié qui effectue quotidiennement des vérifications de vulnérabilités selon une liste de contrôle structurée, classe les découvertes en tâches prioritaires et fait corriger automatiquement les problèmes par un agent de codage.
Sauveteur de la faune utilise Claude IA pour un livre sur les soins aux bébés écureuils et un chatbot interactif
Un sauveteur de la faune avec 38 ans d'expérience utilise Claude AI pour affiner un livre de 300 pages sur les soins aux bébés écureuils et a programmé un chatbot interactif nommé Hazel pour aider d'autres sauveteurs. Le sauveteur teste actuellement les capacités de Claude en lui demandant de suivre et de tenir un journal des progrès d'un bébé écureuil nommé Nova.
Professeur crée un jeu de détection des biais de l'IA avec Claude Code
Un professeur britannique a créé Flagged, un jeu navigateur qui simule les décisions de détection d'IA dans le milieu universitaire en utilisant Claude Code. Le jeu révèle comment les outils de détection produisent des taux de faux positifs allant jusqu'à 61,3% pour les locuteurs non natifs de l'anglais.
Rapport de terrain : Le partenaire de recherche en IA échoue à l'examen par les pairs, incitant à la codification de la méthodologie.
Un géologue/géophysicien utilisant Claude Opus pour des projets complexes multi-fichiers a découvert que l'IA a produit une analyse critique défectueuse d'une étude sur l'éolien offshore, avec quatre des six points échouant à la vérification malgré des citations réelles. L'utilisateur a reconstruit les preuves et a codifié une méthodologie pour les évaluations futures.