ClawCut: 로컬 소형 LLM을 OpenClaw와 함께 사용할 수 있게 해주는 Python 프록시

ClawCut의 기능

ClawCut은 로컬 LLM 서버(MLX 또는 Ollama 등)와 OpenClaw 프레임워크 사이에서 프록시 역할을 하는 Python Flask 애플리케이션입니다. 이는 소규모 로컬 모델(7B/14B)을 OpenClaw와 함께 실용적인 어시스턴트로 사용하기 어렵게 만드는 특정 기술적 문제를 해결하기 위해 만들어졌습니다.

해결된 주요 문제

• 컨텍스트 중독: 소규모 모델이 채팅 기록에서 자신의 이전 도구 호출을 볼 때 도구 사용을 추적하지 못함
• 무한 루프: 모델이 명령을 실행하는 대신 패턴을 반복하는 데 갇힘
• 출력 문제: 모델이 bash 코드를 채팅에서 일반 텍스트로 출력하거나 여러 명령 후 자신의 기록에 막힘
• 크론 작업 실패: 예약된 백그라운드 작업이 활성 채팅 창이 열려 있지 않아 사라지는 응답을 생성함
• LLM 아티팩트: 빈 마크다운 블록, 내부 XML 태그, 그리고 매달린 백틱이 출력을 어지럽힘
• 미디어 업로드 거부: 모델이 생성된 파일 업로드를 거부하는 경우가 있음

작동 방식

도구 호출을 위한 동적 기억 상실: 일반 채팅 중에는 기록이 보존됩니다. 프록시가 모델이 시스템 도구를 사용하려고 하는 것을 감지하면, 일시적으로 이전 채팅 기록을 차단하여 모델이 루프나 환각 없이 깔끔하게 셸 명령을 실행할 수 있도록 "터널 비전"을 제공합니다.

크론 작업을 위한 범용 자동 전송: 프록시는 모델의 스트림을 모니터링하고 사고 과정 끝에서 깨끗한 텍스트 응답을 가로챕니다. 그런 다음 WhatsApp, Telegram 또는 Signal을 통한 자동 도구 호출을 통해 전송을 강제하여 크론 작업이 사용자의 휴대폰에 능동적으로 보고하도록 만듭니다.

아티팩트 필터링: 빈 마크다운 블록, 내부 XML 태그, 그리고 매달린 백틱이 프론트엔드에 도달하기 전에 필터링됩니다.

도구 이름 조작: 간단한 스트림 조작으로 모델이 생성된 미디어 파일 업로드를 거부하는 것을 우회합니다.

테스트된 설정

• OpenClaw 3.8이 설치된 Raspberry Pi 5 (8GB)
• MLX-LLM에서 Qwen2.5-Coder-7B-Instruct-4bit를 실행하는 Mac mini M4 Pro 24GB
• Ollama와 Qwen 2.5 Coder 14B 모델이 설치된 Windows 머신 (ClawCut 통합 예정)

제한 사항

ClawCut은 7B 모델을 GPT-4로 바꾸지 않습니다. 매우 복잡한 다단계 논리 체인은 여전히 소규모 모델에게 어려운 과제입니다. 이 프록시는 이전에 일상적인 어시스턴트로 사용하기 거의 불가능하게 만들었던 기술적 걸림돌을 특별히 해결합니다.