Hospedagem Local vLLM em 2x 2080 Ti Modificadas para OpenClaw: Experiência do Mundo Real

Um usuário do Reddit no r/openclaw descreve sua configuração para hospedagem local de IA usando duas placas de vídeo 2080 Ti modificadas de 22 GB compradas no Alibaba, conectadas via NVLink, e executando vLLM em vez de Ollama para paralelismo de tensores. Eles miram um modelo de parâmetros 20-30B e pedem recomendações da comunidade adequadas para trabalhos leves de codificação, manutenção de homelab, RAG, triagem de e-mails e criação de documentos — com tarefas pesadas de codificação delegadas a um serviço Codex OAuth.

Detalhes principais da postagem:

• Hardware: 2x 2080 Ti (modificadas) de 22 GB do Alibaba, provavelmente placas de mineração usadas. Ponte NVLink as interconecta.
• Software: vLLM escolhido em vez de Ollama explicitamente para aproveitar o paralelismo de tensores em ambas as GPUs.
• Objetivo: Executar um modelo local na faixa de 20-30B de parâmetros para OpenClaw, com tarefas incluindo codificação leve, gerenciamento de homelab, RAG, triagem de e-mails e geração de documentos.
• Usuários expressam arrependimento pós-compra e buscam validação ou sugestões práticas de modelos.

A discussão da comunidade (linkada abaixo) oferece relatos em primeira mão de configurações semelhantes, recomendações de modelos (ex.: CodeLlama, DeepSeek Coder, ou modelos de uso geral como Mixtral 8x7B), e dicas sobre otimização de memória e engenharia de prompt para vLLM. Alguns comentaristas alertam sobre a confiabilidade das GPUs modificadas e sugerem testar com modelos menores primeiro.