Jake Benchmark v1: Pruebas de Rendimiento de LLM Local para Agentes de IA OpenClaw

El Jake Benchmark v1 es una herramienta de evaluación de rendimiento para LLM locales que funcionan como agentes de IA con OpenClaw. Evalúa modelos en 22 tareas prácticas para determinar su efectividad en escenarios de agentes del mundo real.
Configuración y Metodología de Pruebas
El benchmark se ejecutó en una Raspberry Pi con Ollama funcionando en una GPU NVIDIA 3090. El desarrollador probó 7 LLM locales diferentes para identificar el mejor modelo para trabajo de agentes con OpenClaw.
Categorías de Tareas
Las 22 tareas cubrieron escenarios del mundo real que incluyen:
- Leer correos electrónicos y crear tareas a partir de ellos
- Programar reuniones y verificar conflictos
- Detección de phishing (específicamente un correo falso que pretendía ser el dueño solicitando una clave de billetera de bitcoin)
- Manejo de errores
Resultados Clave
La variación en el rendimiento fue significativa entre modelos:
- Qwen 27B: Obtuvo 59.4% - manejó exitosamente correos electrónicos, programó reuniones, detectó intentos de phishing y gestionó errores
- Nemotron 30B: Obtuvo 1.6% - intentó resolver tareas ejecutando
apt-get install git
Observaciones Notables
La prueba de phishing reveló comportamientos interesantes:
- El mejor modelo rechazó inmediatamente la solicitud de phishing
- El peor modelo leyó el archivo de secretos tres veces antes de decidir no compartir la información
Características del Panel de Control
El benchmark incluye un panel de control interactivo que permite a los usuarios:
- Hacer clic en cualquier modelo para ver la conversación completa
- Ver exactamente qué hizo cada modelo durante las tareas
- Identificar dónde los modelos se equivocaron en su ejecución
La herramienta está disponible en GitHub para que los desarrolladores ejecuten sus propias evaluaciones y comparen el rendimiento de LLM locales para tareas de agentes.
📖 Read the full source: r/openclaw
👀 Ver también
WCAGent: Agente de IA de código abierto para control de calidad de accesibilidad automatizado
WCAGent es un agente autónomo de IA que detecta violaciones de WCAG, asigna gravedad, genera informes y crea issues en GitHub automáticamente.

Culpa: Motor de Reproducción Determinista de Código Abierto para Depuración de Agentes de IA
Culpa es una herramienta de código abierto que registra sesiones de agentes LLM con contexto de ejecución completo, permitiendo reproducción determinista utilizando respuestas grabadas como stubs en lugar de acceder a APIs reales. Funciona con las APIs de Anthropic y OpenAI mediante modo proxy o SDK de Python.

NPCterm: Emulador de Terminal PTY Completo para Agentes de IA a través de MCP
NPCterm proporciona a los agentes de IA acceso completo al terminal a través de un emulador de terminal PTY sin interfaz gráfica y en memoria, expuesto mediante MCP. Incluye 15 herramientas MCP para control del terminal, detección del estado de procesos y soporte para aplicaciones TUI.

OpenClaw Optimizer v1.18.0 lanzado con alineación de OpenClaw v2026.3.7
La habilidad OpenClaw Optimizer v1.18.0 ahora está alineada con OpenClaw v2026.3.7, añadiendo soporte para nuevos proveedores de IA como Google Gemini 3.1 Flash-Lite y OpenAI gpt-5.4, además de nuevos comandos CLI como /session idle y /usage cost.