Локальный хостинг vLLM на двух модифицированных 2080 Ti для OpenClaw: реальный опыт

Пользователь Reddit на r/openclaw описывает свою настройку для локального размещения ИИ с использованием двух модифицированных видеокарт 2080 Ti с 22 ГБ, купленных на Alibaba, соединенных через NVLink и работающих на vLLM вместо Ollama для тензорного параллелизма. Они ориентируются на модель с 20-30 миллиардами параметров и просят сообщество порекомендовать модели, подходящие для легкого программирования, обслуживания домашнего сервера, RAG, обработки электронной почты и создания документов, при этом тяжелые задачи по программированию передаются сервису Codex OAuth.
Ключевые детали из поста:
- Железо: 2x 22 ГБ (модифицированные) 2080 Ti с Alibaba, вероятно, бывшие майнинговые карты. Соединены мостом NVLink.
- ПО: vLLM выбран вместо Ollama именно для использования тензорного параллелизма на обеих видеокартах.
- Цель: Запуск локальной модели в диапазоне 20-30 млрд параметров для OpenClaw, с задачами, включающими легкое программирование, управление домашним сервером, RAG, обработку электронной почты и генерацию документов.
- Пользователи выражают сожаление о покупке и просят подтверждения или практических рекомендаций по моделям.
Обсуждение в сообществе (ссылка ниже) содержит рассказы из первых рук о подобных настройках, рекомендации по моделям (например, CodeLlama, DeepSeek Coder или универсальные модели, такие как Mixtral 8x7B), а также советы по оптимизации памяти и инженерии промптов для vLLM. Некоторые комментаторы предупреждают о надежности модифицированных видеокарт и рекомендуют сначала тестировать на более маленьких моделях.
📖 Читать полный источник: r/openclaw
👀 Смотрите также

Разработчик использует Claude AI для создания приложения PosturePal для сканирования осанки.
Разработчик создал PosturePal: Posture Scanner с помощью Claude AI для решения множества задач, включая написание кода, принятие продуктовых решений, коммуникацию с пользователями и создание текстов. Приложение анализирует фотографии в профиль, чтобы оценить осанку, выявить конкретные проблемы и предложить индивидуальные упражнения.

Ловушка продуктивности разработчика с ИИ: от 80 коммитов в месяц до 1400+ с 17 агентами
Разработчик сообщает, что ИИ-агенты для программирования не заменили его работу, а умножили нагрузку: с 80 коммитов в месяц на одном CRM-проекте до управления 17 ИИ-агентами, 12 параллельными проектами и 1400+ коммитами в 39 репозиториях.

ИИ-агент отказывается работать: сотрудник OpenClaw разводит руками после неудачной настройки календаря
После обновления до OpenClaw 2026.6.9 агент отказался отлаживать навыки Gog и доступ к календарю/почте, заявив, что проблема нерешаема. Пользователю пришлось уволить и пересоздать агента, а затем решить проблему вручную.

Непрограммист запускает 18-агентную систему OpenClaw на Mac mini для цифрового маркетинга.
Владелец агентства цифрового маркетинга без опыта программирования шесть недель управляет системой OpenClaw с 18 агентами на Mac mini M4, что обходится примерно в 100 долларов в месяц за Claude Max Pro плюс 5 долларов в месяц на электричество. В настройке используются три «семейства» агентов, вдохновлённые персонажами сериала «Бриджертон», которые занимаются созданием контента, SEO и задачами разработки.