Ejecutando Qwen3.6-35B-A3B con ~190k de contexto en 8GB de VRAM + 32GB de RAM – Configuración y benchmarks

Un usuario de Reddit ha publicado una configuración detallada para ejecutar modelos Qwen3.6-35B-A3B GGUF con ~190k de contexto en una laptop con 8 GB de VRAM (RTX 4060) y 32 GB de RAM DDR5. Reporta 37-43 tok/s de serie, y con ajustes alcanza ~51 tok/s.
Hardware y modelos
- GPU: RTX 4060 8 GB VRAM
- RAM: 32 GB DDR5 5600MHz
- SO: Linux (rendimiento mejor que Windows)
- Modelos probados (cuantización Q5):
mudler/Qwen3.6-35B-A3B-APEX-GGUF– ~40 tok/s a 37 tok/shesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF– ~43 tok/s a 37 tok/s
Configuración clave
Usando un fork de llama.cpp con soporte para TurboQuant (turboquant_plus), el usuario ejecuta llama-server con las siguientes banderas:
--model "<path>" \
--host 0.0.0.0 \
--port 8085 \
--ctx-size 192640 \
--n-gpu-layers 430 \
--n-cpu-moe 35 \
--cache-type-k "turbo4" \
--cache-type-v "turbo4" \
--flash-attn on \
--batch-size 2048 \
--parallel 1 \
--no-mmap \
--mlock \
--ubatch-size 512 \
--threads 6 \
--cont-batching \
--timeout 300 \
--temp 0.2 \
--top-p 0.95 \
--min-p 0.05 \
--top-k 20 \
--metrics \
--chat-template-kwargs '{"preserve_thinking": true}'
Para alcanzar velocidades de ~51 tok/s, ajusta tres banderas: --ctx-size 192640, --n-gpu-layers 430, --n-cpu-moe 35 (ajustar ligeramente según estabilidad/memoria).
Advertencias
- La cuantización Q4 es notablemente peor para razonamiento de contexto largo en comparación con Q5.
--no-mmap+--mlockreduce las ralentizaciones.- TurboQuant KV cache es crítico en tamaños de contexto grandes.
- El alto ancho de banda de RAM (DDR5) es importante para estas velocidades.
- Linux supera significativamente a Windows para esta carga de trabajo.
Para quién es esto
Desarrolladores que ejecutan LLMs locales con contextos muy largos (170k+ tokens) en hardware de consumo, especialmente aquellos con 8-12 GB de VRAM y RAM de sistema rápida.
📖 Leer la fuente original: r/LocalLLaMA
👀 Ver también

Consejos de configuración de OpenClaw desde la experiencia de un usuario: MCP de Gmail, banderas de perfil y problemas de red.
Un usuario que ejecuta OpenClaw en una Mac a través de UTM con una máquina virtual Ubuntu comparte problemas de configuración específicos encontrados: el servidor MCP de Gmail requiere el parámetro html_body en lugar de body, se necesita la bandera --profile prod para evitar una identidad de desarrollo codificada, y las claves API deben colocarse en auth-profiles.json mediante el comando paste-token.

OpenClaw Mega Cheatsheet: Tu puerta de entrada a la maestría en codificación de IA.
Sumérgete en la Mega Hoja de Trucos de OpenClaw de r/openclaw, una guía completa llena de consejos esenciales para entusiastas de la codificación y la automatización de IA.

Glosario práctico de terminología de agentes de IA (Arnés, Andamio, Agente, etc.)
Un glosario del blog de Hugging Face que explica términos comunes de agentes de IA como Harness, Scaffold y Agent con definiciones sencillas y ejemplos reales.

Correcciones de Qwen 3.5 en la Llamada de Herramientas para Uso Agéntico: Estado del Servidor y Soluciones en el Lado del Cliente
Un análisis detallado identifica cuatro errores que rompen la llamada a herramientas de Qwen 3.5 en configuraciones agenticas, rastrea las correcciones del servidor hasta abril de 2026 y proporciona una función de Python del lado del cliente para analizar las llamadas a herramientas XML cuando los servidores fallan.