Рекомендации по настройке локальной LLM для OpenClaw

Обзор настройки

Пользователь на r/openclaw поделился своей текущей конфигурацией для интеграции локальной большой языковой модели (LLM) с OpenClaw. Он использует отдельное оборудование: устройство GB10 специально для запуска модели ИИ и Mac mini для основной установки OpenClaw.

Детали конфигурации

Процесс настройки описан как в основном стандартный, с одним ключевым отклонением: когда появляется запрос на выбор LLM, необходимо выбрать опцию 'custom LLM'. Пользователь указывает "ввести ваш ip" на этом этапе. Он отмечает, что большинство настроек будут использовать OpenAI-совместимые конечные точки через такие инструменты, как vLLM, SGLang или llama.cpp.

Что касается выбора модели, пользователь дает конкретное предупреждение и рекомендацию:

• Совет по выбору модели: "не выбирайте самую большую модель, которая помещается в вашу видеопамять, вам нужно найти баланс между контекстными токенами и размером модели."
• Текущая модель: Он использует unsloth/MiniMax-M2.5-GGUF:UD_Q2_K_XL + 24000.
• Сервер вывода: Он использует llama.cpp для запуска модели.

Конечная точка сервера

Локальный сервер вывода настроен на работу по адресу localhost:8080/v1. Это обеспечивает OpenAI-совместимую конечную точку API, к которой может подключаться OpenClaw.

Пользователь отмечает, что это работа в процессе, заявляя: "Я все еще тестирую openclaw, поэтому, возможно, перейду на другую модель, если токенов будет недостаточно." Это подчеркивает практический, итеративный характер поиска подходящей модели для конкретных требований к окну контекста рабочего процесса.