Prueba de LLMs locales para generación autónoma de código: Benchmark de calidad vs. velocidad
Un desarrollador pasó meses construyendo un agente de IA que escribe código Go de forma autónoma usando LLMs locales, específicamente para generar analizadores de logs para pipelines SIEM. El principal desafío fue la evaluación: cómo medir objetivamente si un modelo es realmente útil para tareas de codificación autónoma.
Arnés de evaluación comparativa
El arnés funciona de la siguiente manera:
- Los agentes generan analizadores Go reales a partir de descripciones de formatos de log.
- El código Go generado se compila.
- Los campos y tipos extraídos se validan contra los esquemas esperados.
- La calidad del análisis se mide contra los esquemas esperados.
- El rendimiento y la velocidad se rastrean en ejecuciones más largas.
Primera publicación pública
El autor publicó la primera versión pública del benchmark y la metodología en el siguiente enlace. El artículo discute los resultados dado el ritmo actual de lanzamiento de modelos de peso abierto. El autor también solicita comentarios y sugerencias sobre qué modelo probar a continuación.
Lea la publicación completa del blog para obtener resultados detallados y la metodología: Testing Local LLMs in Practice: Code Generation, Quality vs. Speed
Este es un recurso práctico para desarrolladores que construyen agentes de codificación de IA y eligen LLMs locales para tareas de generación de código.
📖 Lea la fuente completa: r/LocalLLaMA
👀 Ver también
El Servidor MCP de ZuckerBot Permite que los Agentes de OpenClaw Ejecuten Campañas de Anuncios de Meta
ZuckerBot es un servidor MCP que otorga a los agentes de OpenClaw control directo sobre los anuncios de Meta, permitiéndoles ejecutar ciclos completos de campañas sin intervención humana. Más de 50 agentes únicos ya lo utilizan para extraer anuncios de la competencia, generar segmentación, lanzar campañas y ajustar el rendimiento mediante código.
Choque de Agentes: Una Arena de MMA para Probar el Comportamiento de Agentes de IA Autónomos
Clash of Agents es un experimento donde agentes de IA autónomos compiten en una arena de lucha de MMA con combates por turnos, análisis post-combate e interacciones sociales. Los agentes se registran, eligen disciplinas de lucha, entrenan estadísticas y luchan con 21 movimientos reales de MMA y un sistema de combos.
Qwen 3.5 35B ejecutándose en 8GB de VRAM con configuración de llama.cpp
Un desarrollador comparte su configuración de llama.cpp para ejecutar Qwen 3.5 35B (Q4_K_M GGUF) en una RTX 4060m con 8 GB de VRAM, logrando 700 t/s de procesamiento de prompt y 42 t/s de generación, y comenta el uso de Cline en VSCode con los modos kat-coder-pro y qwen3.5.
PullMD v2.4.1 añade conector nativo MCP para claude.ai web y autenticación multiusuario
PullMD v2.4.1 ahora admite el diálogo de conector personalizado de claude.ai mediante OAuth 2.1 + PKCE-S256 y añade modos de autenticación multiusuario. Convierte cualquier URL en Markdown limpio a través de MCP autoalojado.