Resultados de Referencia para Modelos Locales Pequeños y de OpenRouter en la Tarea Agéntica de Texto a SQL
Un desarrollador ha publicado los resultados de un punto de referencia para modelos locales pequeños y de OpenRouter en una tarea de agente de texto a SQL. El punto de referencia toma consultas en inglés como "Mostrar líneas de pedido, ingresos, unidades vendidas, ingresos por unidad (ingresos totales ÷ unidades totales vendidas), precio de lista promedio por producto en la subcategoría, beneficio bruto y porcentaje de margen para cada subcategoría de producto" y las convierte en SQL que se prueba contra tablas de base de datos.
Detalles del Punto de Referencia
El agente puede ver los resultados de las consultas y modificar el SQL para corregir problemas, con un límite en las rondas de depuración. El punto de referencia es deliberadamente corto con 25 preguntas y se ejecuta en mucho menos de 5 minutos para la mayoría de los modelos, lo que lo hace práctico para probar diferentes configuraciones. Está diseñado para ser lo suficientemente difícil como para separar los mejores modelos de los demás.
Hallazgos Clave
- Los mejores modelos abiertos identificados fueron kimi-k2.5, Qwen 3.5 397B-A17B y Qwen 3.5 27B
- NVIDIA Nemotron-Cascade-2-30B-A3B supera a Qwen 3.5-35B-A3B y coincide con Codex 5.3
- Mimo v2 Flash fue descrito como "una joya de modelo"
Opción de Autoalojamiento
El punto de referencia ahora incluye la capacidad de ejecutarlo tú mismo contra tu propio servidor usando la versión WASM de Llama.cpp. El desarrollador está buscando comentarios sobre qué cambiar para la versión 2 y quiere ver las puntuaciones que otros obtienen con diferentes configuraciones.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Tendr Skill Agrega Memoria a Largo Plazo Basada en CLI con Jerarquía para Reducir el Uso de Tokens
Una nueva habilidad de OpenClaw separa el razonamiento de la ejecución para operaciones de memoria a largo plazo, utilizando una herramienta CLI para manejar cambios estructurales de manera determinista. Admite wikilinks y jerarquía semántica explícita entre archivos para reducir el consumo de tokens y evitar la acumulación de errores.
Krasis LLM Runtime Muestra Mejoras de Velocidad de 8.9x en Prellenado y 4.7x en Decodificación en Comparación con Llama.cpp
El runtime Krasis LLM ahora ejecuta tanto el prellenado como la decodificación completamente en GPU con diferentes estrategias de optimización, logrando un prellenado 8.9 veces más rápido y una decodificación 4.7 veces más rápida que llama.cpp en Qwen3.5-122B con una sola GPU 5090.
La habilidad Claude Code genera capturas de pantalla de la App Store utilizando la IA de Gemini.
Una nueva habilidad de Claude Code llamada /aso-cosmicmeta-ss crea capturas de pantalla para App Store y Google Play mediante un flujo de trabajo de 6 fases que analiza bases de código y utiliza la IA Gemini para mejoras. La habilidad incluye una puerta de aprobación para detectar problemas de diseño antes de usar créditos de API.
Hearth: Aplicación de Chat con IA Multiusuario Autohospedada para Hogares en OpenClaw
Hearth es una aplicación de chat de IA doméstica autoalojada construida sobre OpenClaw que proporciona cuentas y conversaciones separadas para cada miembro de la familia, con funciones que incluyen inicio de sesión con PIN/biometría, chats privados, recordatorios y preajustes de modelos.