Implémentation de l'Agent Local OpenClaw avec Cache TurboQuant pour Matériel de Gamme Moyenne

L'équipe OpenClaw a publié une application en un clic qui permet aux modèles d'agents locaux de fonctionner sur du matériel d'entrée de gamme comme le MacBook Air avec 16 Go de RAM et le Mac Mini. L'implémentation relève le défi d'exécuter des modèles d'agents sophistiqués (comme QWEN ou GLM) sur du matériel moyen en intégrant la compression de cache TurboQuant et un processus de préchauffage du contexte.

Détails techniques de l'implémentation

La solution s'appuie sur plusieurs composants clés :

• Cache TurboQuant : Utilise l'implémentation TurboQuant de llama.cpp de Tom Turney, qui a été corrigée pour fonctionner correctement avec l'appel d'outils des agents dans les modèles QWEN.
• Cache/Préchauffage du contexte : Met en œuvre un processus de « préchauffage » spécifique à OpenClaw qui prend quelques minutes après le démarrage du modèle, mais permet ensuite un traitement fluide des requêtes sur du matériel limité.
• Prise en charge des modèles : Testé avec le modèle de raisonnement Gemma 4 de Google et QWEN 3.5, les deux offrant des performances similaires sur des machines M4 standard.

Benchmarks de performance

D'après les tests sur un MacBook Air avec 16 Go de mémoire :

• Vitesse de traitement : Gemma 4 et QWEN 3.5 délivrent environ 10-15 jetons par seconde (jps)
• Comparaison de vitesse : QWEN montre des performances légèrement plus rapides que Gemma 4
• Performance de raisonnement : Comparables entre les deux modèles, bien qu'aucun n'égale les modèles Anthropic pour les tâches complexes ou le codage
• Comparaison avec le cloud : Les réponses sont 2 à 3 fois plus lentes que les modèles cloud puissants

Applications pratiques

Cette implémentation rend les agents locaux viables pour :

• Les tâches quotidiennes où la vitesse n'est pas critique
• Les processus en arrière-plan sur du matériel abordable (par exemple, Mac Mini à 600 $)
• Le déploiement d'agents locaux 24h/24 et 7j/7 qui peuvent s'amortir en quelques mois

L'équipe note que si les performances de raisonnement n'égalent pas encore les meilleurs modèles cloud pour les tâches complexes, cela représente une étape significative vers un déploiement pratique d'agents locaux sur du matériel grand public.