Recomendações de Configuração de LLM Local para OpenClaw

Visão Geral da Configuração

Um usuário no r/openclaw compartilhou sua configuração atual para integrar um Modelo de Linguagem Grande (LLM) local com o OpenClaw. Eles estão usando hardware separado: um dispositivo GB10 especificamente para executar o modelo de IA e um Mac mini para a instalação principal do OpenClaw.

Detalhes da Configuração

O processo de configuração é descrito como basicamente padrão, com uma desvio importante: quando solicitado a escolher um LLM, você deve selecionar a opção 'LLM personalizado'. O usuário instrui a "colocar seu ip" nesta etapa. Eles observam que a maioria das configurações usará endpoints compatíveis com OpenAI por meio de ferramentas como vLLM, SGLang ou llama.cpp.

Para a seleção do modelo, o usuário fornece um aviso e uma recomendação específicos:

• Conselho sobre Seleção de Modelo: "não escolha o maior modelo que caiba na sua vram, você precisa encontrar o equilíbrio entre tokens de contexto e tamanho do modelo."
• Modelo Atual: Eles estão usando unsloth/MiniMax-M2.5-GGUF:UD_Q2_K_XL + 24000.
• Servidor de Inferência: Eles estão usando llama.cpp para executar o modelo.

Endpoint do Servidor

O servidor de inferência local está configurado para rodar em localhost:8080/v1. Isso fornece um endpoint de API compatível com OpenAI ao qual o OpenClaw pode se conectar.

O usuário observa que isso é um trabalho em andamento, afirmando: "Ainda estou testando o openclaw, então posso mudar para outro modelo se os tokens não forem suficientes." Isso destaca a natureza prática e iterativa de encontrar o modelo certo para os requisitos de janela de contexto de um fluxo de trabalho específico.