Empfehlungen für die Einrichtung eines lokalen LLM für OpenClaw

Setup-Übersicht

Ein Benutzer auf r/openclaw hat seine aktuelle Konfiguration für die Integration eines lokalen Large Language Model (LLM) mit OpenClaw geteilt. Er verwendet separate Hardware: ein GB10-Gerät speziell für den Betrieb des KI-Modells und einen Mac mini für die Hauptinstallation von OpenClaw.

Konfigurationsdetails

Der Einrichtungsprozess wird als größtenteils Standard beschrieben, mit einer wichtigen Abweichung: Wenn Sie aufgefordert werden, ein LLM auszuwählen, müssen Sie die Option 'benutzerdefiniertes LLM' wählen. Der Benutzer weist an, in diesem Schritt "Ihre IP-Adresse einzugeben". Er stellt fest, dass die meisten Setups OpenAI-kompatible Endpunkte über Tools wie vLLM, SGLang oder llama.cpp verwenden werden.

Für die Modellauswahl gibt der Benutzer eine spezifische Warnung und Empfehlung:

• Ratschlag zur Modellauswahl: "Wählen Sie nicht das größte Modell, das in Ihren VRAM passt. Sie müssen die Balance zwischen Kontext-Token und Modellgröße finden."
• Aktuelles Modell: Er verwendet unsloth/MiniMax-M2.5-GGUF:UD_Q2_K_XL + 24000.
• Inferenz-Server: Er verwendet llama.cpp, um das Modell auszuführen.

Server-Endpunkt

Der lokale Inferenz-Server ist so konfiguriert, dass er unter localhost:8080/v1 läuft. Dies bietet einen OpenAI-kompatiblen API-Endpunkt, mit dem OpenClaw eine Verbindung herstellen kann.

Der Benutzer stellt fest, dass dies noch in Arbeit ist, und sagt: "Ich teste OpenClaw allerdings noch, also könnte ich zu einem anderen Modell wechseln, wenn die Token nicht ausreichen." Dies unterstreicht die praktische, iterative Natur, das richtige Modell für die Kontextfensteranforderungen eines bestimmten Workflows zu finden.