O projeto de autoresearch de Karpathy: agentes de IA executam experimentos de treinamento de LLM durante a noite.

O que o projeto de autoresearch de Karpathy faz

Andrej Karpathy lançou um pequeno repositório chamado "autoresearch" que demonstra o conceito de "pesquisador de IA em loop". O sistema usa um agente de IA para executar autonomamente experimentos de treinamento de LLM durante a noite em uma única GPU.

Como funciona

O agente segue este fluxo de trabalho:

• Edita continuamente o arquivo train.py
• Executa experimentos de treinamento nanochat de 5 minutos
• Verifica se a métrica de bits por byte de validação (val_bpb) melhorou
• Repete este ciclo enquanto você dorme

Configuração e instalação

O projeto tem uma configuração super minimalista:

• Hardware: Uma GPU
• Arquivos: Um arquivo principal
• Métricas: Uma métrica principal (val_bpb)

O humano escreve o prompt de organização da pesquisa em program.md, e o agente cuida da iteração do código.

Taxa de experimentos

Com um orçamento fixo de 5 minutos por experimento, o sistema pode executar aproximadamente 12 experimentos por hora.

Esta abordagem demonstra uma implementação prática de pesquisa automatizada onde agentes de IA podem explorar espaços de parâmetros e configurações de treinamento de forma autônoma, potencialmente acelerando ciclos de experimentação para desenvolvedores que trabalham com modelos de linguagem.