Ejecutando OmniCoder-9B localmente con detalles de configuración de llama.cpp
Configuración de Hardware y Modelo
La configuración utiliza hardware de gama media: CPU AMD Ryzen 9 5900X (12 hilos utilizados para inferencia), 62GB de RAM DDR4, NVIDIA RTX 3080 con 10GB de VRAM, SSD NVMe y Ubuntu 22.04 en un servidor remoto.
El modelo es OmniCoder-9B, basado en Qwen3.5-9B, afinado en más de 425k trayectorias de agentes de codificación por Tesslate. Utiliza cuantización Q6_K (tamaño de archivo 6.85GB) con ventana de contexto de 128K tokens, obtenido de HuggingFace.
Configuración de llama.cpp
El modelo se ejecuta a través del servidor llama.cpp con estas banderas específicas:
llama-server \ --model /home/openclaw/models/omnicoder-9b/omnicoder-9b-q6_k.gguf \ --host 0.0.0.0 --port 8080 \ --ctx-size 131072 \ --n-gpu-layers 99 \ --cache-type-k q8_0 \ --cache-type-v q4_0 \ --threads 12 \ --batch-size 128 \ --flash-attn on \ --temp 0.4 \ --top-k 20 \ --top-p 0.95 \ --jinja \ --reasoning-budget 0
Parámetros clave explicados:
--ctx-size 131072: Ventana de contexto de 128K para bases de código grandes--n-gpu-layers 99: Descargar todas las capas a la GPU--cache-type-k q8_0 --cache-type-v q4_0: Caché KV comprimido para ajustar contexto de 128K en 10GB de VRAM--threads 12: Coincidir con núcleos físicos (no hyperthreads)--flash-attn on: Cálculo de atención más rápido--reasoning-budget 0: Desactiva la salida de cadena de pensamiento en el campo reasoning_content, haciendo que el modelo genere código directamente
Rendimiento y Pruebas
Métricas de rendimiento: evaluación de prompt a ~300 tokens/s, generación a ~80-90 tokens/s, uso de VRAM ~8.5GB/10GB, latencia de 1-5 segundos para tareas típicas de codificación.
Las pruebas fueron realizadas por Agent Zero, un framework de agente autónomo que utiliza GLM-5 como su cerebro principal. Agent Zero descubrió la bandera --reasoning-budget 0, se conectó por SSH al servidor remoto, actualizó el servicio systemd, creó scripts de evaluación desde cero, ejecutó múltiples benchmarks (HumanEval base, HumanEval Pro, MBPP, MultiPL-E) e iteró en la ingeniería de prompts.
Resultados de Benchmark
Resultados de benchmark comparados con afirmaciones oficiales:
- HumanEval base: Oficial 92.7%, Ejecución 1: 100%, Ejecución 2: 95%, Ejecución 3: 95%, Promedio: 96.7%
- HumanEval Pro: Oficial 70.1%, Ejecución 1: 70%, Promedio: 70%
El puntaje promedio de HumanEval base del 96.7% supera el oficial del 92.7%, mientras que HumanEval Pro coincide exactamente al 70%.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Traza de Pila de LLM de Extremo a Extremo: Desde la Pulsación de Tecla hasta el Token Transmitido
Un ingeniero de software ha creado un documento exhaustivo que rastrea cada capa de la pila al enviar un prompt a un LLM, abarcando el conteo de tokens en el lado del cliente, protocolos de red, puertas de enlace API, clasificadores de seguridad, tokenización, caché KV, canalización de muestreo y mecánicas de transmisión en flujo.
Un Solo Sopa, Un Solo Plato: Un Principio Cocinero Japonés para el Agotamiento por IA
Takuya aplica el principio culinario japonés 'Ichiju Issai' para combatir la fatiga de la IA: simplifica tu stack tecnológico a una herramienta principal y una secundaria, como una comida de arroz, sopa y un plato.
Trellis 2 se ejecuta con éxito en ROCm 7.11 con AMD RX 9070 XT.
Un desarrollador logró que Trellis 2 funcionara en Linux Mint 22.3 con una AMD RX 9070 XT usando ROCm 7.11, solucionando dos problemas clave: la inestabilidad de ROCm con tensores N altos y una función hipMemcpy2D defectuosa en CuMesh.
Proyecto OpenClaw Sistema Operativo: Marco de Gestión de Múltiples Proyectos
Un framework que aísla proyectos con directorios estandarizados, utiliza cron para automatización en lugar de agentes para tareas predecibles, e implementa protocolos de respaldo obligatorios para reducir el uso de tokens y mejorar la consistencia de ejecución.