Resultados de Referencia para Modelos Locales Pequeños y de OpenRouter en la Tarea Agéntica de Texto a SQL
Un desarrollador ha publicado los resultados de un punto de referencia para modelos locales pequeños y de OpenRouter en una tarea de agente de texto a SQL. El punto de referencia toma consultas en inglés como "Mostrar líneas de pedido, ingresos, unidades vendidas, ingresos por unidad (ingresos totales ÷ unidades totales vendidas), precio de lista promedio por producto en la subcategoría, beneficio bruto y porcentaje de margen para cada subcategoría de producto" y las convierte en SQL que se prueba contra tablas de base de datos.
Detalles del Punto de Referencia
El agente puede ver los resultados de las consultas y modificar el SQL para corregir problemas, con un límite en las rondas de depuración. El punto de referencia es deliberadamente corto con 25 preguntas y se ejecuta en mucho menos de 5 minutos para la mayoría de los modelos, lo que lo hace práctico para probar diferentes configuraciones. Está diseñado para ser lo suficientemente difícil como para separar los mejores modelos de los demás.
Hallazgos Clave
- Los mejores modelos abiertos identificados fueron kimi-k2.5, Qwen 3.5 397B-A17B y Qwen 3.5 27B
- NVIDIA Nemotron-Cascade-2-30B-A3B supera a Qwen 3.5-35B-A3B y coincide con Codex 5.3
- Mimo v2 Flash fue descrito como "una joya de modelo"
Opción de Autoalojamiento
El punto de referencia ahora incluye la capacidad de ejecutarlo tú mismo contra tu propio servidor usando la versión WASM de Llama.cpp. El desarrollador está buscando comentarios sobre qué cambiar para la versión 2 y quiere ver las puntuaciones que otros obtienen con diferentes configuraciones.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Código Altimate: Plataforma de Ingeniería de Datos Agéntica de Código Abierto
Altimate Code es un arnés de código abierto que proporciona herramientas deterministas de ingeniería de datos para agentes de IA, abordando problemas como SQL alucinado y falta de contexto de esquema. Incluye linaje a nivel de columna, detección de antipatrones SQL e integración con dbt, con benchmarks que muestran un rendimiento del 74.4% en ADE-bench.
Extensión Codex Chrome agrega automatización del navegador en segundo plano entre pestañas
La nueva extensión de Chrome de Codex en macOS/Windows permite la ejecución paralela de tareas en el navegador en pestañas de fondo sin tomar el control — cubriendo flujos de depuración, paneles, investigación y actualizaciones de CRM.
Alternativa DIY de OpenClaw Utilizando Código Claude en Modo Sin Interfaz Gráfica
Un desarrollador creó un servidor en Python que envía solicitudes a Claude Code en modo sin interfaz, con acceso a un bot de Telegram, automatización con Hammerspoon y almacenamiento local de archivos markdown para tareas, horarios y notas.
El benchmark MemAware muestra que la memoria del agente basado en RAG falla en la recuperación de contexto implícito.
El benchmark MemAware evalúa si los agentes de IA pueden recuperar contexto relevante del pasado cuando los usuarios no lo solicitan explícitamente, revelando que los sistemas de memoria actuales obtienen solo un 2.8% de precisión en consultas implícitas difíciles, frente al 0.8% sin memoria.