Alojamiento local de vLLM en 2x 2080 Ti modificadas para OpenClaw: Experiencia del mundo real

Un usuario de Reddit en r/openclaw describe su configuración para alojar IA local usando dos GPUs 2080 Ti modificadas de 22GB compradas en Alibaba, conectadas mediante NVLink, y ejecutando vLLM en lugar de Ollama para paralelismo tensorial. Su objetivo es un modelo de 20-30B parámetros y pide recomendaciones de la comunidad para tareas ligeras de coding, mantenimiento de homelab, RAG, clasificación de correos y creación de documentos, dejando las tareas pesadas de coding a un servicio Codex OAuth.

Detalles clave del post:

• Hardware: 2x 2080 Ti (modificadas) de 22GB de Alibaba, probablemente tarjetas mineras reacondicionadas. Puente NVLink las interconecta.
• Software: vLLM elegido sobre Ollama explícitamente para aprovechar el paralelismo tensorial entre ambas GPUs.
• Objetivo: Ejecutar un modelo local en el rango de 20-30B parámetros para OpenClaw, con tareas que incluyen coding ligero, gestión de homelab, RAG, clasificación de correos y generación de documentos.
• El usuario expresa arrepentimiento de compra y busca validación o sugerencias prácticas de modelos.

La discusión comunitaria (enlazada abajo) ofrece relatos de primera mano de configuraciones similares, recomendaciones de modelos (por ejemplo, CodeLlama, DeepSeek Coder o modelos de propósito general como Mixtral 8x7B) y consejos sobre optimización de memoria e ingeniería de prompts para vLLM. Algunos comentaristas advierten sobre la fiabilidad de las GPUs modificadas y sugieren probar primero con modelos más pequeños.