Recommandations de configuration de LLM local pour OpenClaw

Vue d'ensemble de la configuration

Un utilisateur sur r/openclaw a partagé sa configuration actuelle pour intégrer un modèle de langage de grande taille (LLM) local avec OpenClaw. Ils utilisent du matériel séparé : un appareil GB10 spécifiquement pour exécuter le modèle d'IA et un Mac mini pour l'installation principale d'OpenClaw.

Détails de la configuration

Le processus de configuration est décrit comme principalement standard, avec une déviation clé : lorsqu'on vous demande de choisir un LLM, vous devez sélectionner l'option 'LLM personnalisé'. L'utilisateur indique de "mettre votre ip" à cette étape. Ils notent que la plupart des configurations utiliseront des points de terminaison compatibles OpenAI via des outils comme vLLM, SGLang ou llama.cpp.

Pour la sélection du modèle, l'utilisateur fournit un avertissement et une recommandation spécifiques :

• Conseil sur la sélection du modèle : "ne choisissez pas le plus grand modèle qui tient dans votre vram, vous devez trouver l'équilibre entre les jetons de contexte et la taille du modèle."
• Modèle actuel : Ils utilisent unsloth/MiniMax-M2.5-GGUF:UD_Q2_K_XL + 24000.
• Serveur d'inférence : Ils utilisent llama.cpp pour exécuter le modèle.

Point de terminaison du serveur

Le serveur d'inférence local est configuré pour s'exécuter sur localhost:8080/v1. Cela fournit un point de terminaison d'API compatible OpenAI auquel OpenClaw peut se connecter.

L'utilisateur note qu'il s'agit d'un travail en cours, déclarant : "Je teste encore openclaw donc je pourrais changer pour un autre modèle si les jetons ne suffisent pas." Cela souligne la nature pratique et itérative de la recherche du bon modèle pour les exigences de fenêtre de contexte d'un flux de travail spécifique.