Optimización de Qwen 3.6 27B/35B en RTX 3090: Flags, Cuantización y Enrutamiento Automático

Un desarrollador que ejecuta modelos Qwen 3.6 localmente en una RTX 3090 (24GB VRAM), Ryzen 5700X, 64GB RAM, Windows 11, está encontrando problemas de rendimiento y fiabilidad. Está usando llama-server con banderas personalizadas y busca consejo sobre la elección de cuantización, rendimiento y enrutamiento automático de modelos.

Comandos y Cuantizaciones

35B (UD Q4_K_M):

llama-server.exe -m "path\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf" -ngl 99 -c 131072 -np 2 -fa on -ctk f16 -ctv f16 -b 2048 -ub 512 -t 8 --mlock -rea on --reasoning-budget 2048 --reasoning-format deepseek --jinja --metrics --slots --port 8081 --host 0.0.0.0

27B (UD Q4_K_XL):

llama-server.exe -m "path\Qwen3.6-27B-UD-Q4_K_XL.gguf" -ngl 99 -c 196608 -np 1 -fa on -ctk q8_0 -ctv q8_0 -b 2048 -ub 512 -t 8 --no-mmap -rea on --reasoning-budget -1 --reasoning-format deepseek --jinja --metrics --slots --port 8081 --host 0.0.0.0

Problemas Reportados

• 35B demasiado lento – incluso tareas iterativas simples se sienten inutilizables.
• 27B más rápido pero poco fiable – la salida de código se rompe; las tareas simples pueden tardar 20-30 minutos.
• Cambio manual de modelo – hay que matar el servidor, pegar un nuevo comando y recargar el modelo.

Preguntas Específicas

• ¿Son las banderas subóptimas? (por ejemplo, tamaño de contexto, tamaño de lote, tipo de caché)
• ¿Qué cuantización/modelo ofrece el mejor equilibrio entre velocidad y precisión en código con 24GB VRAM?
• ¿Cómo cambiar automáticamente de modelo por solicitud, o mantener varios modelos activos y enrutar?

Contexto

El usuario ejecuta el agente Hermes en una Raspberry Pi 5 para scraping y automatización, y codificación local con OpenCode/QwenCode. Quiere una configuración que no requiera reinicios manuales del servidor.