Test du Qwen 3.6 27B local en tant que co-agent validateur Codex
Un développeur sur r/LocalLLaMA utilise un modèle Qwen local aux côtés de Codex d'OpenAI comme validateur et challenger, et a construit une petite suite d'évaluation reproductible pour quantifier les profils de quantification GGUF les plus adaptés à ce rôle. Le flux de travail : Codex s'occupe du travail principal sur le dépôt ; le Qwen local conteste le plan, vérifie les surconstructions, les directives dures manquées, les problèmes d'interface/design, les mauvaises hypothèses et les oublis de long-contexte. L'auteur examine chaque interaction avant de continuer.
Configuration de la suite d'évaluation
La suite teste les profils GGUF de Qwen 3.6 27B via llama.cpp, incluant les variantes Bartowski et Unsloth à différentes tailles de contexte et formats de cache KV (q8, f16). L'accent est mis sur les échecs réels : directives manquées, mauvais comportement de challenge, surconstruction, jugement UI, et oublis de long-contexte.
Résultats clés
- Les profils les plus performants sur cette suite étaient :
bartowski-128k-f16,bartowski-128k-q8etunsloth-128k-q8. Tous trois étaient à égalité en termes de précision. - Le cache KV q8 n'a montré aucune perte de précision mesurée dans cette suite spécifique.
- La taille du contexte était plus importante que le format du cache KV (f16 vs q8) pour ce flux de travail. Les profils 65k ont échoué lorsque la suite nécessitait plus de 65k tokens.
unsloth-128k-f16s'est chargé mais a rencontré des problèmes de mémoire/bande passante sur les cas long-contexte avec une RTX 5090.
Observations pratiques
L'auteur rapporte que Qwen est extrêmement efficace pour détecter les passages à vide silencieux, les surconstructions et les raccourcis de programmation jusqu'à la fin chez Codex. Pour les tâches liées à l'interface utilisateur, Qwen prend la tête en matière de design pendant que Codex implémente. Les rôles s'inversent : Qwen conteste le plan, et l'humain examine avant chaque étape.
Ressources
- Page du projet : https://robert896r1.github.io/qwen-realworld-accuracy-evals/
- Dépôt : https://github.com/robert896r1/qwen-realworld-accuracy-evals
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Via Couche d’Intégration Universelle Open Source, Connecte les Outils d’IA à un Bus de Contexte Partagé
Via est une couche d'intégration universelle open source qui connecte Claude, Cursor, Windsurf, ChatGPT, LangChain et d'autres outils d'IA à un bus de contexte, de tâches et de mémoire partagé, permettant au travail de suivre les utilisateurs à travers les outils, les sessions et les machines.
Le moteur d'inférence Atlas devient open source : Rust pur + CUDA, plus de 100 tok/s sur DGX Spark
Atlas est maintenant open source — un moteur d'inférence Rust + CUDA qui atteint un pic de 130 tok/s sur Qwen3.5-35B (NVFP4) sur un seul DGX Spark, sans runtime Python et avec un démarrage à froid inférieur à 2 minutes.
Claude Code réécrit l'analyseur SQL de PostHog pour un gain de vitesse de 70x – Comment le test basé sur les propriétés et les agents parallèles ont fonctionné
PostHog a utilisé plusieurs sessions Claude Code en parallèle pour réécrire son analyseur SQL, obtenant une accélération de 70x. Le nouvel analyseur est un code de 16 000 lignes écrit à la main avec parsing descendant récursif et tests basés sur les propriétés.
Agents Observe : Tableau de bord en temps réel pour la surveillance des équipes d'agents de code Claude
Agents Observe est un tableau de bord local qui fournit une observabilité en temps réel pour les sessions d'agents Claude Code en utilisant des hooks au lieu d'OTEL. Il capture chaque appel d'outil, la hiérarchie des agents et les événements avec des capacités de filtrage et de recherche, fonctionnant comme un conteneur Docker qui démarre automatiquement avec les sessions Claude.