Usando o Claude Code para Automatizar Experimentos de Pesquisa em IA por 12 Horas

Pesquisa Automatizada em IA com Claude Code

Um desenvolvedor documentou o uso do Claude Code para automatizar experimentos de pesquisa em IA por 12 horas consecutivas. O projeto focou no CLaaS, uma estrutura de aprendizado contínuo em tempo real que move o contexto para os pesos usando auto-distilação.

Configuração Experimental

O objetivo era ajustar as execuções de treinamento de auto-distilação para maximizar a conformidade de um modelo com diferentes verificadores de preferência, como respostas concisas e sem emojis. Os experimentos foram executados localmente em uma RTX 5090 durante a noite.

Arquitetura do Sistema

O repositório foi construído para ser altamente configurável:

• Cada parâmetro ajustável exposto via CLI usando gerenciamento de configuração Hydra
• Painéis HTML para cada etapa de treinamento e execução de avaliação
• Métricas, entradas e saídas tornadas observáveis através de painéis
• O Claude Code podia consultar os painéis via requisições curl para verificar o progresso

Gerenciamento de Experimentos

O fluxo de trabalho foi controlado por um arquivo local EXPERIMENTS.md com regras específicas:

• Cada experimento podia alterar no máximo uma variável ou fazer uma alteração de código
• Entre experimentos, o modelo tinha que aceitar ou reverter a alteração anterior com base nos resultados
• Quaisquer novas alterações de código tinham que ser expostas via configuração para ajustes posteriores
• O modelo registrava todo o progresso, hipóteses e resultados no arquivo como um diário em execução
• Usou um "loop Ralph Wiggum" com o objetivo de maximizar a conformidade com as preferências

Resultados

Durante 12 horas, o sistema executou 9 experimentos:

• Encontrou e corrigiu um bug de colapso do modelo na primeira execução
• Ajustou os passos de gradiente por lote para 4
• Ajustou a taxa de aprendizado para 3e-5
• A conformidade melhorou de 0.000 para 1.000
• O uso de tokens foi surpreendentemente baixo porque a maior parte do tempo foi gasto aguardando as execuções de treinamento entre experimentos

A mesma tarefa também foi executada com o Codex por 2 horas usando um prompt simples, e ele convergiu independentemente para os mesmos hiperparâmetros.

Repositório do projeto: https://github.com/kfallah/CLaaS