GLM 5 sur Mac M3 : Observations de performance pour le codage agentique
Benchmarks de performance et limitations
Un développeur a testé GLM 5 en utilisant la quantification 4 bits de MLX sur un Mac M3 avec 512 Go de RAM pour des tâches de codage agentique. Le modèle est décrit comme "assez utilisable" lorsque le contexte est maintenu en dessous d'environ 50 000 tokens, bien que significativement plus lent que les solutions basées sur des API comme Claude, notamment pendant le traitement des invites.
La performance se dégrade considérablement lorsque le contexte dépasse 50 000 tokens. Dans un test traitant 65 000 tokens, la première moitié s'est terminée en 8 minutes (67 tokens/seconde), tandis que la seconde moitié a pris 18 minutes supplémentaires, résultant en un taux global de 41 tokens/seconde. La génération de tokens reste plus rapide, estimée à 12-20 tokens/seconde pour des contextes plus importants.
Observations sur le flux de travail
L'utilisateur note qu'Opencode (le système de codage agentique) gère efficacement la génération de code multi-fichiers une fois qu'un plan est créé, produisant "des milliers de tokens de code à travers plusieurs fichiers en seulement quelques minutes avec un raisonnement entre les deux". Le traitement des invites prend généralement "quelques minutes" pour lire quelques centaines de lignes de code par fichier, avec environ 10 minutes au total réparties sur les sessions de planification.
La compaction dans Opencode "prend un certain temps car elle aime essentiellement retraiter tout le contexte". Avec une limite de contexte de 50 000 tokens, la compaction prend environ 5 minutes.
Configuration technique et attentes futures
Le test a été réalisé en utilisant LM Studio, qui peut ne pas fournir les dernières optimisations d'exécution. L'utilisateur suggère que "MLX ou même GGUF pourraient obtenir un traitement d'invite plus rapide à mesure que les environnements d'exécution sont mis à jour pour GLM 5, mais il ne deviendra probablement pas BEAUCOUP plus rapide que cela".
Cette configuration n'est pas recommandée pour les tâches nécessitant 70 000+ tokens de contexte en raison à la fois des limitations de taille de contexte et de la "lenteur insupportable" qui survient après avoir dépassé certains seuils pendant le traitement des invites.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Comparaison de RunLobster par rapport aux solutions OpenClaw hébergées
Un développeur a testé RunLobster contre KiwiClaw, xCloud et OpenClaw auto-hébergé pendant 2 semaines chacun. RunLobster diffère fondamentalement en tant que produit plutôt que simplement un hébergement, avec 3 000 intégrations en un clic et une mémoire qui se construit au fil du temps.
Hypura : Planificateur d'inférence LLM optimisé pour les niveaux de stockage des puces Apple Silicon
Hypura est un planificateur d'inférence basé sur Rust qui répartit les tenseurs du modèle entre les niveaux GPU, RAM et NVMe pour exécuter des modèles dépassant la mémoire physique sur les Mac à puce Apple Silicon. Il permet d'exécuter un Mixtral 8x7B de 31 Go sur un Mac Mini 32 Go à 2,2 tok/s et un Llama 70B de 40 Go à 0,3 tok/s là où llama.cpp standard plante.
Extraction chirurgicale de GitHub : une compétence Claude pour récupérer une fonction, pas tout le dépôt
Un nouveau Skill Claude open-source nommé surgical-github-extraction empêche Claude Code de cloner des dépôts entiers quand vous ne voulez qu'une seule fonction ou un motif. Il lit le README, extrait 1 à 3 fichiers sources bruts, et prélève la plus petite unité utile avec un commentaire de provenance.
Contrôlez de vrais iPhones depuis les agents OpenClaw — Prise en main de la configuration d'AvaBerry43
Un développeur a créé une configuration d'iPhone pilotée par API pour des agents IA, testant des fonctionnalités comme la rédaction d'iMessage, les raccourcis et l'assurance qualité mobile. 70 téléphones sont disponibles pour d'autres développeurs.