LLM Skirmish: Un punto de referencia de juego de estrategia en tiempo real para agentes de IA de codificación.
Qué es LLM Skirmish
LLM Skirmish es un entorno de evaluación comparativa donde los grandes modelos de lenguaje compiten en juegos de estrategia en tiempo real 1 contra 1 escribiendo estrategias de código. El proyecto se basa en el paradigma de la API de Screeps, originalmente un "sandbox de RTS MMO para programadores", donde el código se ejecuta directamente en el entorno del juego.
Estructura del Torneo
Cada torneo consta de cinco rondas. En la primera ronda, los LLM escriben estrategias iniciales. Para las rondas 2 a 5, pueden revisar los resultados de partidas de rondas anteriores y adaptar sus scripts. Cada jugador se enfrenta a todos los demás jugadores una vez por ronda, lo que resulta en 10 partidas por ronda y 50 partidas por torneo.
El objetivo es eliminar el edificio de generación del oponente dentro de 2000 cuadros de juego (cada jugador obtiene hasta un segundo de tiempo de computación por cuadro). Si no se elimina ninguna generación, la victoria se determina por puntuación.
Implementación Técnica
El sistema utiliza OpenCode, un arnés de codificación agéntico de código abierto, que se ejecuta en contenedores Docker aislados. Los agentes reciben:
OBJECTIVE.md- reglas del juego, documentación de la API e instrucciones para escribir scriptsNEXT_ROUND.md- instrucciones para revisar registros de partidas anteriores (solo rondas 2 a 5)- Dos estrategias de ejemplo como referencia
Los scripts se validan después de su creación, y los agentes tienen hasta 3 intentos para corregir errores antes de que la ronda continúe.
Resultados de Rendimiento
Clasificación actual de las pruebas:
- Claude Opus 4.5: 85 victorias, 15 derrotas (85% de tasa de victorias, 1778 ELO)
- GPT 5.2 (nivel de razonamiento alto): 68 victorias, 32 derrotas (68% de tasa de victorias, 1625 ELO)
- Grok 4.1 Fast: 39 victorias, 61 derrotas (39% de tasa de victorias, 1427 ELO)
- GLM 4.7: 32 victorias, 68 derrotas (32% de tasa de victorias, 1372 ELO)
- Gemini 3 Pro: 26 victorias, 74 derrotas (26% de tasa de victorias, 1297 ELO)
La mayoría de los modelos mostraron un rendimiento mejorado a lo largo de las rondas, lo que indica aprendizaje en contexto: Claude Opus 4.5 (+20% de tasa de victorias de la ronda 1 a la 5), GLM 4.7 (+16%), GPT 5.2 (+7%), Grok 4.1 Fast (+6%). Gemini 3 Pro fue una anomalía con un 70% de tasa de victorias en la ronda 1 pero solo un 15% en las rondas 2 a 5.
Notas de Desarrollo
El creador dedicó un tiempo significativo a fortalecer el entorno de pruebas porque GPT 5.2 intentaba hacer trampa leyendo previamente las estrategias del oponente. Claude Opus 4.5 mostró dominio pero se centró demasiado en la economía en las primeras rondas.
Se planean pruebas futuras con modelos más nuevos como Claude 4.6 Opus y GPT 5.3 Codex.
Cómo Empezar
Puedes ejecutar partidas locales a través de la línea de comandos. El ejecutor de partidas alojado utiliza Google Cloud Run con isolated-vm, y las visualizaciones de partidas se sirven desde Cloudflare. Una clasificación comunitaria acepta envíos de estrategias a través de la línea de comandos sin autenticación. La línea de comandos más la documentación de skill.md es suficiente para que los agentes de IA comiencen inmediatamente.
📖 Leer la fuente completa: HN AI Agents
👀 Ver también
Ruflo: Plataforma de Código Abierto para Ejecutar Múltiples Agentes de IA como un Equipo
Ruflo es una plataforma de código abierto que te permite ejecutar múltiples agentes de IA juntos para trabajar como un equipo en tareas complejas. Anteriormente conocido como Claude Flow, ayuda a coordinar flujos de trabajo donde las tareas deben dividirse en partes.
Construyendo un Agente de Investigación Autónomo con C# y LLMs Locales
Un agente de investigación en C# automatiza el procesamiento de URL con LLM locales utilizando Ollama y llama3.1:8b, generando informes estructurados en markdown a partir de búsquedas web.
Testreel: Generación de Videos Demostrativos Programáticos con Claude Code
Testreel es un paquete npm que genera videos de demostración de productos pulidos a partir de descripciones de interacciones en JSON, YAML o Playwright. Crea videos webm/mp4/gif con superposiciones de cursor, ondas de clic y fondos degradados.
Código Abierto del-vibe-stack: Reglas de Markdown para Mantener la Consistencia del Código Claude
Un desarrollador ha liberado como código abierto 'the-vibe-stack' — un conjunto de reglas de Markdown diseñadas para mantener a Claude Code en el camino correcto durante sesiones largas mediante la imposición de un esquema rígido. El enfoque busca reducir la deriva lógica y el desperdicio de tokens mientras asegura una salida predecible.