로컬 LLM 설정 권장사항: OpenClaw

설치 개요

r/openclaw의 한 사용자가 로컬 대규모 언어 모델(LLM)을 OpenClaw와 통합하기 위한 현재 구성 설정을 공유했습니다. 이들은 별도의 하드웨어를 사용하고 있습니다: AI 모델 실행을 위한 GB10 장치와 메인 OpenClaw 설치를 위한 Mac mini입니다.

구성 세부 정보

설정 과정은 대부분 표준으로 설명되며, 한 가지 중요한 차이점이 있습니다: LLM을 선택하라는 메시지가 나타나면 '사용자 정의 LLM' 옵션을 선택해야 합니다. 이 단계에서 사용자는 "IP 주소를 입력하세요"라고 지시합니다. 대부분의 설정은 vLLM, SGLang 또는 llama.cpp와 같은 도구를 통해 OpenAI 호환 엔드포인트를 사용할 것이라고 언급합니다.

모델 선택에 대해 사용자는 다음과 같은 특별한 경고와 권장 사항을 제공합니다:

• 모델 선택 조언: "VRAM에 맞는 가장 큰 모델을 선택하지 마세요. 컨텍스트 토큰과 모델 크기 사이의 균형을 찾아야 합니다."
• 현재 사용 중인 모델: unsloth/MiniMax-M2.5-GGUF:UD_Q2_K_XL + 24000을 사용 중입니다.
• 추론 서버: 모델을 실행하기 위해 llama.cpp를 사용하고 있습니다.

서버 엔드포인트

로컬 추론 서버는 localhost:8080/v1에서 실행되도록 구성되었습니다. 이는 OpenClaw가 연결할 수 있는 OpenAI 호환 API 엔드포인트를 제공합니다.

사용자는 이 설정이 진행 중인 작업이라고 언급하며, "아직 OpenClaw를 테스트 중이라 토큰이 충분하지 않으면 다른 모델로 변경할 수도 있습니다."라고 말합니다. 이는 특정 워크플로우의 컨텍스트 창 요구 사항에 맞는 적절한 모델을 찾는 실용적이고 반복적인 성격을 강조합니다.