Usando Claude Code para Automatizar Experimentos de Investigación en IA durante 12 Horas

Investigación de IA Automatizada con Claude Code

Un desarrollador documentó el uso de Claude Code para automatizar experimentos de investigación de IA durante 12 horas seguidas. El proyecto se centró en CLaaS, un marco de aprendizaje continuo en tiempo real que traslada el contexto a los pesos mediante auto-distilación.

Configuración Experimental

El objetivo era ajustar las ejecuciones de entrenamiento de auto-distilación para maximizar el cumplimiento de un modelo con diferentes verificadores de preferencias, como respuestas concisas y sin emojis. Los experimentos se ejecutaron localmente en una RTX 5090 durante la noche.

Arquitectura del Sistema

El repositorio se construyó para ser altamente configurable:

• Cada parámetro ajustable expuesto mediante CLI usando gestión de configuración Hydra
• Paneles HTML para cada paso de entrenamiento y ejecución de evaluación
• Métricas, entradas y salidas hechas observables a través de paneles
• Claude Code podía consultar los paneles mediante solicitudes curl para verificar el progreso

Gestión de Experimentos

El flujo de trabajo estaba controlado por un archivo local EXPERIMENTS.md con reglas específicas:

• Cada experimento podía cambiar como máximo una variable o realizar un cambio de código
• Entre experimentos, el modelo tenía que aceptar o revertir el cambio anterior según los resultados
• Cualquier nuevo cambio de código tenía que exponerse mediante configuración para ajustes posteriores
• El modelo registraba todo el progreso, hipótesis y resultados en el archivo como un diario en ejecución
• Utilizó un "bucle Ralph Wiggum" con el objetivo de maximizar el cumplimiento de preferencias

Resultados

Durante 12 horas, el sistema ejecutó 9 experimentos:

• Encontró y corrigió un error de colapso del modelo en la primera ejecución
• Ajustó los pasos de gradiente por lote a 4
• Ajustó la tasa de aprendizaje a 3e-5
• El cumplimiento mejoró de 0.000 a 1.000
• El uso de tokens fue sorprendentemente bajo porque la mayor parte del tiempo se dedicó a esperar las ejecuciones de entrenamiento entre experimentos

La misma tarea también se ejecutó con Codex durante 2 horas usando un mensaje simple, y convergió independientemente en los mismos hiperparámetros.

Repositorio del proyecto: https://github.com/kfallah/CLaaS