Benchmarks de 12 GB de VRAM: Ejecutando modelos Qwen 3.6 y Gemma 4 en una RTX 4070 Super

Un usuario de Reddit ha publicado benchmarks de velocidad para ejecutar varios modelos MoE grandes en una RTX 4070 Super de 12 GB (con overclocking del +10%), combinada con una CPU AMD 9800X3D y 64 GB de RAM DDR5-6000. El usuario descarga la visualización a la iGPU para ahorrar VRAM, señalando una penalización de rendimiento del ~10% en caso contrario. La configuración utiliza CUDA 13.1 y la última versión de llama.cpp con la siguiente configuración de hardware:

n-gpu-layers = 999
threads = 8
threads-batch = 16
batch-size = 4096
ubatch-size = 4096
ctx-size = 65536
flash-attn = true

Resultados de los Benchmarks

El usuario probó cuatro modelos mediante cuantizaciones GGUF de Unsloth en VS Code con Cline y KiloCode (sin problemas de llamadas a herramientas). Todas las mediciones están en tokens por segundo (tgs) y procesamiento por segundo (pps).

• Qwen3.6-35B-A3B-GGUF Q6_K_XL: 40 tgs, 2100 pps
• Qwen3.6-27B-IQ3_XXS: 16 tgs, 1000 pps
• Gemma 4 26B-A4B-it-UD-Q8: 26 tgs, 2150 pps
• Gemma-4-31B-it-IQ3_XXS: 13-16 tgs, 650 pps

Detalles de Configuración Notables

El usuario compartió configuraciones individuales de los modelos con ajustes específicos. Puntos clave:

• Para Qwen3.6-35B-A3B: n-cpu-moe = 35 (descarga 35 expertos MoE a la CPU), cache-type-k = q8_0, cache-type-v = q8_0, swa-full = true, cache-reuse = 512, tamaño de contexto 131072, razonamiento habilitado con presupuesto 8096.
• Para Gemma 4 26B: n-cpu-moe = 27, contexto 102400, fit = on con fit-target = 256 y fit-ctx = 32768.
• Para Gemma 4 31B: utiliza decodificación especulativa con ngram-mod (spec-type = ngram-mod), n-gpu-layers = 58 (descarga parcial a GPU), cache-type-k = q4_0, no-kv-offload = true.
• Todos los modelos usan flash-attn = true y no-mmproj-offload = true.

El modelo preferido del usuario para desarrollo web es Qwen3.6-35B-A3B, elogiando su calidad sin problemas de llamadas a herramientas en extensiones de VS Code.