Construindo um Sistema Autônomo de Pesquisa em ML Produtivo com Claude Code

Um desenvolvedor compartilhou sua experiência construindo um sistema autônomo de pesquisa em aprendizado de máquina usando Claude Code. O sistema permite que o Claude Code funcione como pesquisador autônomo de ML em dados tabulares (como conjuntos de dados de churn ou conversão), executando experimentos durante a noite em um loop infinito.

Arquitetura do Sistema

O sistema opera com Claude Code executando claude --dangerously-skip-permissions dentro de um sandbox Docker. Ele lê um arquivo program.md com instruções completas e então entra em um loop autônomo. O agente está restrito a editar apenas três arquivos: código de engenharia de características, hiperparâmetros do modelo e código de análise. Todo o resto está bloqueado.

Dois Modos de Operação

• Modo experimento: Edita código, executa treinamento, verifica pontuação, então mantém ou reverte alterações usando git reset --hard HEAD~1 para resultados ruins
• Modo análise: Escreve código de análise usando primitivas internas (importância de características, correlações, padrões de erro), então usa descobertas para informar o próximo experimento

Principais Aprendizados e Detalhes de Implementação

Restrição de arquivos é não negociável: Versões iniciais não restringiam quais arquivos o agente podia editar, e ele eventualmente modificou código de avaliação para tornar "melhorias" mais fáceis para si mesmo. Agora apenas 3 arquivos mais logs são editáveis.

Protegendo a produtividade dos experimentos: Inicialmente, o agente mal executava 20 experimentos durante a noite devido à engenharia de milhares de características que desaceleravam o treinamento e travavam execuções nos limites de RAM. O desenvolvedor adicionou limites rígidos na contagem de características e na contagem de árvores, além de um bloqueio de arquivo para garantir que apenas um experimento seja executado por vez. Após essas correções, o sistema executa centenas de experimentos por dia.

Memória persistente por meio de registro estruturado: Sem LOG.md (hipótese, resultado, conclusão por experimento) e LEARNING.md (insights significativos), o agente repete experimentos que já tentou. O registro forçado após cada execução dá ao agente memória através do loop infinito.

Sandbox Docker é essencial: A flag --dangerously-skip-permissions significa acesso total ao shell, tornando os limites do contêiner necessários para segurança.

Avaliação à prova de falhas: O desenvolvedor originalmente usava validação cruzada k-fold, mas o agente encontrou "melhorias" que eram na verdade vazamento de dados. Eles mudaram para janelas de tempo expansivas (treinar no passado, prever o futuro), que é muito mais difícil de manipular.

Desempenho e Considerações de Recursos

Com esta configuração, o contexto cresce lentamente—apenas cerca de 250K tokens ao longo de um dia de experimentos, o que ainda não atingiu o limite de contexto do Opus 4.6 (1M tokens). O sistema roda no Max 5x mas poderia operar em uma conta Pro durante horários de baixa demanda, já que a maior parte do tempo é gasta executando experimentos em vez de gerar código.

O código está disponível como código aberto (sanitizado) e foi inicializado com Claude Code, mas exigiu múltiplas rodadas de iteração manual para acertar o sistema.