OpenClaw与本地模型：用户与GPT障碍的斗争及寻求本地化设置

r/openclaw의 한 사용자가 ChatGPT Plus로 심각한 벽에 부딪혔습니다: 과도한 사용량이 발생한 날에는 최대 5일 동안 차단되어 가벼운 모델에도 접근할 수 없게 됩니다. 지쳐서 그들은 OpenClaw 내에서 GPT의 백업 또는 완전한 대체재로 로컬 모델을 탐색하고 있습니다. LM Studio로 시도했지만 토큰 속도가 느리고 컨텍스트 오류가 발생하여 실패했지만, 자신의 워크스테이션의 가능성에 대해 조언을 구하고 있습니다.

컨텍스트 오류 및 LM Studio 문제

사용자는 LM Studio를 통해 로컬 모델에 연결하려고 하면 몇 개의 메시지 후에 일관되게 실패하며 다음 오류가 발생한다고 보고합니다:

⚠️ 컨텍스트가 너무 커서 자동 압축이 이 턴을 복구하지 못했습니다. 다시 시도하거나 /compact를 사용하거나 /new를 사용하여 새 세션을 시작하세요.

이는 로드된 모델이 컨텍스트 창으로 어려움을 겪거나 OpenClaw의 컨텍스트 관리가 LM Studio의 API와 잘 맞지 않음을 시사합니다. 그들은 매우 느린 토큰 생성 속도를 경험하고 있어 문제를 악화시킵니다.

하드웨어: RTX 5070 Ti + RTX 4060

사용자의 워크스테이션 사양은 modest하지만 충분합니다:

• RTX 5070 Ti 16GB
• RTX 4060 8GB
• 64GB DDR5 RAM(96GB로 업그레이드 가능)

이 듀얼 GPU 설정은 총 24GB의 VRAM을 제공하며, 7B-13B 파라미터 양자화 모델(Llama 3 8B, CodeLlama 7B, Qwen 2.5 7B 등)을 합리적인 속도로 실행하기에 충분합니다. 더 큰 모델의 경우 RAM 오프로딩에 의존해야 하지만, 컨텍스트 오류는 메모리 부족이 아니라 모델의 컨텍스트 길이를 초과했음을 나타냅니다.

로컬 모델을 효과적으로 실행할 수 있습니까?

요약하면: 예, 하지만 접근 방식을 조정해야 합니다. 컨텍스트 오류는 OpenClaw가 긴 대화 기록을 보내는 동안 컨텍스트 창이 작은 모델(예: 4K)을 사용하기 때문에 발생할 가능성이 높습니다. LM Studio에서 다음을 수행해야 합니다:

• 모델이 지원하는 경우 "컨텍스트 길이" 설정을 더 큰 값(예: 8192 또는 16384)으로 활성화하십시오.
• 더 나은 성능을 위해 "배치 크기"를 늘리십시오.
• 더 높은 양자화 모델(Q4_K_M 또는 Q5_K_M 등)을 사용하여 더 많은 모델을 VRAM에 맞추고 생성 속도를 높이십시오.
• OpenClaw의 컨텍스트 창을 모델 용량에 맞게 설정하거나 /compact 명령을 수동으로 사용하여 기록을 지우십시오.

24GB VRAM으로 7B-13B 모델을 빠른 속도(초당 수십 토큰)로 실행할 수 있습니다. 완전한 로컬 설정을 위해 OpenClaw는 LM Studio와 같은 OpenAI 호환 API를 지원하지만 API 엔드포인트와 모델 이름을 올바르게 구성해야 합니다.

GPT를 완전히 제거하는 것은 어떻습니까?

완전히 로컬로 실행하는 것이 가능하지만 복잡한 작업에서는 품질이 저하될 수 있습니다. 사용자의 과도한 사용에는 코딩, 작성 또는 에이전트 역할이 포함될 수 있으며, 이러한 작업에서는 GPT-4와 같은 프런티어 모델이 여전히 앞서 있습니다. 그러나 백업 또는 간단한 작업의 경우 로컬 모델이 이제 실행 가능합니다.

실용적인 첫 단계로 OpenClaw 구성에서 로컬 모델을 백업으로 설정하고 GPT 차단 기간 동안 사용할 수 있습니다. 업그레이드의 경우 Groq 또는 소규모 API와 같은 클라우드 대안을 고려할 수 있지만 질문은 로컬에 관한 것입니다.

이것은 OpenClaw 사용자들 사이에서 흔한 문제이며 커뮤니티에는 성공적인 LM Studio 설정의 예가 더 있을 것입니다. 자세한 설정은 원본 게시물의 댓글을 확인하십시오.