Локальный хостинг vLLM на двух модифицированных 2080 Ti для OpenClaw: реальный опыт

Пользователь Reddit на r/openclaw описывает свою настройку для локального размещения ИИ с использованием двух модифицированных видеокарт 2080 Ti с 22 ГБ, купленных на Alibaba, соединенных через NVLink и работающих на vLLM вместо Ollama для тензорного параллелизма. Они ориентируются на модель с 20-30 миллиардами параметров и просят сообщество порекомендовать модели, подходящие для легкого программирования, обслуживания домашнего сервера, RAG, обработки электронной почты и создания документов, при этом тяжелые задачи по программированию передаются сервису Codex OAuth.

Ключевые детали из поста:

• Железо: 2x 22 ГБ (модифицированные) 2080 Ti с Alibaba, вероятно, бывшие майнинговые карты. Соединены мостом NVLink.
• ПО: vLLM выбран вместо Ollama именно для использования тензорного параллелизма на обеих видеокартах.
• Цель: Запуск локальной модели в диапазоне 20-30 млрд параметров для OpenClaw, с задачами, включающими легкое программирование, управление домашним сервером, RAG, обработку электронной почты и генерацию документов.
• Пользователи выражают сожаление о покупке и просят подтверждения или практических рекомендаций по моделям.

Обсуждение в сообществе (ссылка ниже) содержит рассказы из первых рук о подобных настройках, рекомендации по моделям (например, CodeLlama, DeepSeek Coder или универсальные модели, такие как Mixtral 8x7B), а также советы по оптимизации памяти и инженерии промптов для vLLM. Некоторые комментаторы предупреждают о надежности модифицированных видеокарт и рекомендуют сначала тестировать на более маленьких моделях.