Configuration Multi-Agent Locale avec vLLM, Claude Code et gpt-oss-120b sous Linux
Un développeur a partagé son expérience de création d'une configuration multi-agent de codage entièrement locale et parallèle sous Linux après avoir quitté Windows. La configuration utilise vLLM pour l'inférence parallèle, Claude Code pour l'orchestration des agents et un grand modèle de langage pour les tâches de codage.
Composants de la configuration
- Conteneur Docker vLLM : Utilisé pour un déploiement facile et une inférence parallèle
- Claude Code : Gère le vibecoding et l'orchestration des équipes d'agents, configuré pour pointer vers le point de terminaison localhost de vLLM au lieu des fournisseurs cloud
- gpt-oss:120b : Sert d'agent de codage
- RTX Pro 6000 Blackwell MaxQ : GPU principal pour la charge de travail
- Dual-boot Ubuntu : Configuration du système d'exploitation
Améliorations des performances et du flux de travail
Le développeur utilisait auparavant Ollama et LM Studio mais a constaté qu'ils traitaient les requêtes séquentiellement et subissaient des ralentissements après plusieurs tours de messages et appels d'outils. Avec vLLM, il a obtenu un traitement parallèle qui a "boosté" son expérience.
Lors des tests, la configuration a géré 4 agents collaborant simultanément comme le montre une démonstration vidéo, le GPU étant capable de supporter 8 agents en parallèle en continu. Le seul problème noté était une réduction du débit, qui varie selon l'agent.
Les tâches à l'échelle d'équipes d'agents qui prenaient auparavant des heures à réaliser séquentiellement peuvent maintenant être effectuées en environ 30 minutes, selon la portée du projet. Le développeur estime qu'ajouter un deuxième GPU MaxQ pourrait potentiellement faire évoluer le système pour gérer des dizaines d'agents simultanément.
Cette approche parallèle permet de faire du vibecoding sur plusieurs projets localement et simultanément, bien qu'elle puisse introduire une latence accrue dans certains scénarios. Le développeur a trouvé ce compromis préférable à la réalisation des projets un agent à la fois.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Utiliser Obsidian avec OpenClaw comme configuration de second cerveau
Un développeur partage sa configuration utilisant OpenClaw avec Obsidian comme système de second cerveau, mettant en œuvre QMD pour une recherche efficace de notes et un chargement de compétences à la demande, réduisant ainsi l'utilisation de tokens de 80 à 90 %.
Exécution de l'ordinateur de la Tesla Model 3 sur un bureau avec des pièces de récupération
Un chercheur a réussi à démarrer l'ordinateur d'une Tesla Model 3 sur un bureau en utilisant des pièces provenant de voitures accidentées, nécessitant une alimentation 12V, un écran tactile et des câbles personnalisés. La configuration a révélé un réseau interne avec des serveurs SSH et web accessibles à des adresses IP spécifiques.
Débloquer l'efficacité : Le Suivi de Commandes Evenrealities Améliore les Capacités d'OpenClaw
Découvrez comment le Suivi de Commandes Evenrealities optimise l'expérience des utilisateurs d'OpenClaw, rapprochant davantage l'automatisation de l'IA et la gestion rationalisée.
AgentBnB : Un système multi-agents créé par un non-codeur avec Claude Code
Un agent immobilier sans formation en programmation a créé AgentBnB, un système où des agents autonomes peuvent se trouver mutuellement, s'embaucher, se payer et régler des factures sans intervention manuelle. Le projet compte actuellement 29 étoiles sur GitHub et intègre des systèmes d'identité, d'escrow, de réputation et de réseau relais.