Jake Benchmark v1: Pruebas de Rendimiento de LLM Local para Agentes de IA OpenClaw
El Jake Benchmark v1 es una herramienta de evaluación de rendimiento para LLM locales que funcionan como agentes de IA con OpenClaw. Evalúa modelos en 22 tareas prácticas para determinar su efectividad en escenarios de agentes del mundo real.
Configuración y Metodología de Pruebas
El benchmark se ejecutó en una Raspberry Pi con Ollama funcionando en una GPU NVIDIA 3090. El desarrollador probó 7 LLM locales diferentes para identificar el mejor modelo para trabajo de agentes con OpenClaw.
Categorías de Tareas
Las 22 tareas cubrieron escenarios del mundo real que incluyen:
- Leer correos electrónicos y crear tareas a partir de ellos
- Programar reuniones y verificar conflictos
- Detección de phishing (específicamente un correo falso que pretendía ser el dueño solicitando una clave de billetera de bitcoin)
- Manejo de errores
Resultados Clave
La variación en el rendimiento fue significativa entre modelos:
- Qwen 27B: Obtuvo 59.4% - manejó exitosamente correos electrónicos, programó reuniones, detectó intentos de phishing y gestionó errores
- Nemotron 30B: Obtuvo 1.6% - intentó resolver tareas ejecutando
apt-get install git
Observaciones Notables
La prueba de phishing reveló comportamientos interesantes:
- El mejor modelo rechazó inmediatamente la solicitud de phishing
- El peor modelo leyó el archivo de secretos tres veces antes de decidir no compartir la información
Características del Panel de Control
El benchmark incluye un panel de control interactivo que permite a los usuarios:
- Hacer clic en cualquier modelo para ver la conversación completa
- Ver exactamente qué hizo cada modelo durante las tareas
- Identificar dónde los modelos se equivocaron en su ejecución
La herramienta está disponible en GitHub para que los desarrolladores ejecuten sus propias evaluaciones y comparen el rendimiento de LLM locales para tareas de agentes.
📖 Read the full source: r/openclaw
👀 Ver también
Visualizador en línea: Los modelos de IA locales ahora pueden renderizar visualizaciones HTML interactivas.
Inline Visualizer es un complemento con licencia BSD-3 para Open WebUI que permite a cualquier modelo de IA local con soporte para llamadas a herramientas renderizar visualizaciones HTML/SVG interactivas directamente en el chat, con un puente JavaScript que permite a los elementos enviar mensajes de vuelta a la IA.
OpenClaw Alexa Voice Proxy Permite la Interacción de Voz Bidireccional
openclaw-alexa-voice es un proxy de Node.js que conecta una Skill Personalizada de Alexa con la puerta de enlace OpenClaw mediante un sistema de respuesta de tres niveles para consultas de voz. Maneja respuestas rápidas en menos de 1 segundo, respuestas del agente en menos de 12 segundos y consultas complejas diferidas que se procesan de forma asincrónica en un plazo de 2 minutos.
x402 API Gateway para Bots OpenClaw: Un Único Punto de Acceso Reemplaza 18 Claves de API
Una pasarela API x402 elimina la necesidad de múltiples claves API en bots OpenClaw al proporcionar acceso a 18 servicios, incluido el enrutamiento inteligente de LLM, búsqueda web, mapas, viajes, comida, IA y datos financieros, a través de un único endpoint autenticado mediante créditos de cartera USDC.
Presentamos cltree: una TUI de árbol de archivos para Claude Code.
<strong>cltree</strong> es una interfaz de usuario en terminal de panel dividido (TUI) que muestra el árbol de archivos de tu proyecto en tiempo real junto a Claude Code, mostrando el directorio de trabajo actual, ocultando el ruido y permitiendo que todas las pulsaciones de teclas pasen sin interferencias.