GLM 5 sur Mac M3 : Observations de performance pour le codage agentique
Benchmarks de performance et limitations
Un développeur a testé GLM 5 en utilisant la quantification 4 bits de MLX sur un Mac M3 avec 512 Go de RAM pour des tâches de codage agentique. Le modèle est décrit comme "assez utilisable" lorsque le contexte est maintenu en dessous d'environ 50 000 tokens, bien que significativement plus lent que les solutions basées sur des API comme Claude, notamment pendant le traitement des invites.
La performance se dégrade considérablement lorsque le contexte dépasse 50 000 tokens. Dans un test traitant 65 000 tokens, la première moitié s'est terminée en 8 minutes (67 tokens/seconde), tandis que la seconde moitié a pris 18 minutes supplémentaires, résultant en un taux global de 41 tokens/seconde. La génération de tokens reste plus rapide, estimée à 12-20 tokens/seconde pour des contextes plus importants.
Observations sur le flux de travail
L'utilisateur note qu'Opencode (le système de codage agentique) gère efficacement la génération de code multi-fichiers une fois qu'un plan est créé, produisant "des milliers de tokens de code à travers plusieurs fichiers en seulement quelques minutes avec un raisonnement entre les deux". Le traitement des invites prend généralement "quelques minutes" pour lire quelques centaines de lignes de code par fichier, avec environ 10 minutes au total réparties sur les sessions de planification.
La compaction dans Opencode "prend un certain temps car elle aime essentiellement retraiter tout le contexte". Avec une limite de contexte de 50 000 tokens, la compaction prend environ 5 minutes.
Configuration technique et attentes futures
Le test a été réalisé en utilisant LM Studio, qui peut ne pas fournir les dernières optimisations d'exécution. L'utilisateur suggère que "MLX ou même GGUF pourraient obtenir un traitement d'invite plus rapide à mesure que les environnements d'exécution sont mis à jour pour GLM 5, mais il ne deviendra probablement pas BEAUCOUP plus rapide que cela".
Cette configuration n'est pas recommandée pour les tâches nécessitant 70 000+ tokens de contexte en raison à la fois des limitations de taille de contexte et de la "lenteur insupportable" qui survient après avoir dépassé certains seuils pendant le traitement des invites.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Corbell : CLI Open Source pour l'Analyse d'Architecture et la Documentation de Conception Multi-Dépôts
Corbell est un outil CLI gratuit et open source qui analyse plusieurs dépôts pour construire un graphe d'architecture et générer une documentation de conception localement. Il fonctionne entièrement hors ligne avec Ollama ou prend en charge divers fournisseurs de LLM, et n'envoie jamais le code hors de votre machine.
Les tests de référence MemAware évaluent la mémoire de l'IA au-delà de la simple recherche par mots-clés.
MemAware est un benchmark avec 900 questions réparties sur 3 niveaux de difficulté qui teste si les assistants IA dotés de mémoire peuvent faire remonter un contexte pertinent lorsque les requêtes ne le suggèrent pas. Les résultats montrent que la recherche BM25 a obtenu 2,8 % contre 0,8 % sans mémoire, tandis que la recherche vectorielle chute à 0,7 % sur les connexions inter-domaines.
DESIGN.md : Un format de spécification pour décrire l'identité visuelle aux agents de codage
DESIGN.md combine des jetons de design YAML avec de la prose Markdown pour donner aux agents IA une compréhension persistante et structurée d'un système de design. Inclut un linter et un outil de diff.
Goulot d'étranglement de la vérification du code Claude et solution par plugin d'automatisation du navigateur
Un développeur rapporte que la vérification reste la partie la plus lente de l'utilisation de Claude Code, nécessitant des tests manuels des fonctionnalités. Il a trouvé un plugin d'automatisation de navigateur qui permet à l'agent de vérifier les flux réels du produit avant de marquer les tâches comme terminées.