Jake Benchmark v1: Pruebas de Rendimiento de LLM Local para Agentes de IA OpenClaw
El Jake Benchmark v1 es una herramienta de evaluación de rendimiento para LLM locales que funcionan como agentes de IA con OpenClaw. Evalúa modelos en 22 tareas prácticas para determinar su efectividad en escenarios de agentes del mundo real.
Configuración y Metodología de Pruebas
El benchmark se ejecutó en una Raspberry Pi con Ollama funcionando en una GPU NVIDIA 3090. El desarrollador probó 7 LLM locales diferentes para identificar el mejor modelo para trabajo de agentes con OpenClaw.
Categorías de Tareas
Las 22 tareas cubrieron escenarios del mundo real que incluyen:
- Leer correos electrónicos y crear tareas a partir de ellos
- Programar reuniones y verificar conflictos
- Detección de phishing (específicamente un correo falso que pretendía ser el dueño solicitando una clave de billetera de bitcoin)
- Manejo de errores
Resultados Clave
La variación en el rendimiento fue significativa entre modelos:
- Qwen 27B: Obtuvo 59.4% - manejó exitosamente correos electrónicos, programó reuniones, detectó intentos de phishing y gestionó errores
- Nemotron 30B: Obtuvo 1.6% - intentó resolver tareas ejecutando
apt-get install git
Observaciones Notables
La prueba de phishing reveló comportamientos interesantes:
- El mejor modelo rechazó inmediatamente la solicitud de phishing
- El peor modelo leyó el archivo de secretos tres veces antes de decidir no compartir la información
Características del Panel de Control
El benchmark incluye un panel de control interactivo que permite a los usuarios:
- Hacer clic en cualquier modelo para ver la conversación completa
- Ver exactamente qué hizo cada modelo durante las tareas
- Identificar dónde los modelos se equivocaron en su ejecución
La herramienta está disponible en GitHub para que los desarrolladores ejecuten sus propias evaluaciones y comparen el rendimiento de LLM locales para tareas de agentes.
📖 Read the full source: r/openclaw
👀 Ver también
MCP como Interfaz de Observabilidad: Conectando Agentes de IA a Puntos de Seguimiento del Kernel
El Protocolo de Contexto de Modelo (MCP) está surgiendo como la interfaz entre los agentes de IA y la telemetría de infraestructura, con Datadog lanzando un servidor MCP y Qualys señalando preocupaciones de seguridad. El artículo explora dos enfoques: envolver plataformas existentes o construir observabilidad nativa MCP que se conecte directamente a los puntos de seguimiento del kernel.
Ejecutando OpenClaw y Codex CLI de forma nativa en Android mediante AnyClaw APK
Un desarrollador ha empaquetado OpenClaw y Codex CLI en un APK de Android llamado AnyClaw, permitiendo que la puerta de enlace y la Interfaz de Control se ejecuten localmente en dispositivos Android ARM64 7.0+ sin necesidad de root. El proyecto requirió construir las dependencias desde el código fuente y parchear múltiples componentes para manejar las restricciones específicas de Android.
MoltNow.app: Plataforma de despliegue de OpenClaw en un clic
Un nuevo servicio promete simplificar el despliegue de OpenClaw a un solo clic con UI personalizada y automatización del navegador.
VSCode-Perplexity-MCP: Usa tu cuenta de Perplexity para búsqueda gratuita de IA en VS Code
Un servidor MCP de código abierto que te permite conectar tu cuenta de Perplexity.ai a VS Code, brindando a Clawbot capacidades de búsqueda, razonamiento y cómputo sin pagar por solicitud de API.