Gemma4 26B-A4B Offre des Performances Locales Rapides avec Recherche Web et Prise en Charge des Images
Performances et fonctionnalités de Gemma4 26B-A4B
Le modèle gemma-4-26B-A4B démontre de solides performances pour une utilisation locale, la source rapportant des vitesses d'environ 145 tokens par seconde lors de l'exécution sur une carte graphique RTX 4090. Cette combinaison de capacités et de vitesse le rend adapté aux applications locales réactives.
Caractéristiques principales de la source
- Modèle : gemma-4-26B-A4B
- Performance : ~145 t/s (tokens par seconde) sur RTX 4090
- Intégration : Prise en charge de la recherche web MCP (Model Context Protocol)
- Multimodal : Prise en charge d'images incluse
- Plateformes : Configuration documentée pour une utilisation sur Mac et iPhone
La source mentionne que l'expérience peut être améliorée avec des astuces simples et un court prompt système, bien que les détails spécifiques de ces optimisations ne soient pas fournis dans l'extrait. L'auteur a documenté son processus de configuration complet dans un article de blog qui couvre la configuration et l'utilisation sur plusieurs appareils.
Pour les développeurs intéressés par la mise en œuvre de cette configuration, les détails complets de configuration, les prompts système et les techniques d'optimisation sont disponibles dans l'article de blog référencé à l'URL fournie.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Claudraband : Wrapper de Terminal pour Sessions de Code Persistantes de Claude
Claudraband enveloppe l'interface TUI officielle de Claude Code dans un terminal contrôlé pour permettre des flux de travail reprises, un contrôle de session à distance via un démon HTTP, et une intégration de serveur ACP pour des interfaces alternatives comme Zed ou Toad. Il nécessite Node.js/Bun, une installation authentifiée de Claude Code, et tmux pour des flux de travail locaux de première classe.
SpruceChat exécute un LLM de 0,5 milliard de paramètres directement sur les consoles portables Miyoo grâce à llama.cpp.
SpruceChat exécute Qwen2.5-0.5B entièrement sur l'appareil sur des consoles de jeu portables en utilisant llama.cpp, sans nécessiter de cloud ou de WiFi. Sur un Miyoo A30 (quadricœur Cortex-A7), il se charge en ~60 secondes et génère à ~1-2 tokens/seconde.
Phaselock : Un système de contrôle d'agent IA inspiré des techniques parentales
Phaselock est une compétence d'agent open-source qui met en œuvre quatre mécanismes de contrôle pour les agents IA : des portes explicites avant l'action, un retour immédiat sur les erreurs, des choix contraints et l'application mécanique de règles. Il fonctionne avec Claude Code, Cursor, Windsurf et les outils prenant en charge les hooks.
RTX 5060 Ti 16GB : Benchmarks des LLM locaux : Les modèles 30B restent en tête pour le codage
Les benchmarks sur une RTX 5060 Ti 16GB montrent que le modèle Unsloth Qwen3-Coder-30B UD-Q3_K_XL atteint 76,3 tok/s sur Ubuntu avec un score de qualité de 8,14, ce qui en fait le modèle de codage recommandé par défaut. Le modèle Unsloth Qwen3.5-35B UD-Q2_K_XL atteint 80,1 tok/s mais avec des scores de qualité inférieurs.