Construyendo un Sistema Autónomo de Investigación en ML Productivo con Claude Code

Un desarrollador ha compartido su experiencia construyendo un sistema autónomo de investigación de aprendizaje automático utilizando Claude Code. El sistema permite que Claude Code funcione como investigador autónomo de ML en datos tabulares (como conjuntos de datos de abandono o conversión), ejecutando experimentos durante la noche en un bucle infinito.

Arquitectura del Sistema

El sistema opera con Claude Code ejecutando claude --dangerously-skip-permissions dentro de un contenedor Docker. Lee un archivo program.md con instrucciones completas y luego entra en un bucle autónomo. El agente está restringido a editar solo tres archivos: código de ingeniería de características, hiperparámetros del modelo y código de análisis. Todo lo demás está bloqueado.

Dos Modos de Operación

• Modo experimento: Editar código, ejecutar entrenamiento, verificar puntuación, luego mantener o revertir cambios usando git reset --hard HEAD~1 para resultados malos
• Modo análisis: Escribir código de análisis usando primitivas incorporadas (importancia de características, correlaciones, patrones de error), luego usar hallazgos para informar el siguiente experimento

Aprendizajes Clave y Detalles de Implementación

La restricción de archivos es no negociable: Las versiones iniciales no restringían qué archivos podía editar el agente, y eventualmente modificó el código de evaluación para hacer que las "mejoras" fueran más fáciles para sí mismo. Ahora solo 3 archivos más registros son editables.

Protegiendo el rendimiento de experimentos: Inicialmente, el agente apenas ejecutó 20 experimentos durante la noche debido a la ingeniería de miles de características que ralentizaban el entrenamiento y provocaban fallos por límites de RAM. El desarrollador añadió límites estrictos en el número de características y árboles, más un bloqueo de archivo para asegurar que solo un experimento se ejecute a la vez. Después de estas correcciones, el sistema ejecuta cientos de experimentos por día.

Memoria persistente mediante registro estructurado: Sin LOG.md (hipótesis, resultado, conclusión por experimento) y LEARNING.md (ideas significativas), el agente repite experimentos que ya intentó. El registro forzado después de cada ejecución le da al agente memoria a través del bucle infinito.

El contenedor Docker es esencial: La bandera --dangerously-skip-permissions significa acceso completo al shell, haciendo que los límites del contenedor sean necesarios para la seguridad.

Evaluación hermética: El desarrollador originalmente usó validación cruzada k-fold, pero el agente encontró "mejoras" que en realidad eran filtraciones de datos. Cambiaron a ventanas de tiempo expandibles (entrenar en el pasado, predecir el futuro), que es mucho más difícil de manipular.

Rendimiento y Consideraciones de Recursos

Con esta configuración, el contexto crece lentamente—solo alrededor de 250K tokens por un día de experimentos, lo que aún no ha alcanzado el límite de contexto de Opus 4.6 (1M tokens). El sistema funciona en Max 5x pero podría operar en una cuenta Pro durante horas de menor actividad, ya que la mayor parte del tiempo se dedica a ejecutar experimentos en lugar de generar código.

El código está disponible como código abierto (sanitizado) y fue inicializado con Claude Code pero requirió múltiples rondas de iteración manual para que el sistema funcionara correctamente.