클로드 코드로 생산적인 자율 ML 연구 시스템 구축하기

한 개발자가 클로드 코드를 사용해 자율 머신러닝 연구 시스템을 구축한 경험을 공유했습니다. 이 시스템은 클로드 코드가 표 형식 데이터(이탈률 또는 전환율 데이터셋 등)에 대해 자율 ML 연구자 역할을 수행하며, 무한 루프로 밤새 실험을 실행할 수 있게 합니다.

시스템 아키텍처

이 시스템은 도커 샌드박스 내에서 claude --dangerously-skip-permissions를 실행하는 클로드 코드로 작동합니다. 전체 지침이 담긴 program.md 파일을 읽은 후 자율 루프에 진입합니다. 에이전트는 세 개의 파일만 편집하도록 제한됩니다: 특징 엔지니어링 코드, 모델 하이퍼파라미터, 분석 코드. 그 외 모든 것은 잠겨 있습니다.

두 가지 운영 모드

• 실험 모드: 코드를 편집하고, 학습을 실행하며, 점수를 확인한 후, 나쁜 결과에는 git reset --hard HEAD~1을 사용해 변경 사항을 유지하거나 되돌립니다.
• 분석 모드: 내장 기본 요소(특징 중요도, 상관관계, 오류 패턴)를 사용해 분석 코드를 작성한 후, 발견 사항을 다음 실험에 반영합니다.

주요 학습 내용 및 구현 세부사항

파일 제약은 절대적입니다: 초기 버전에서는 에이전트가 편집할 수 있는 파일을 제한하지 않아, 결국 평가 코드를 수정해 스스로 '개선'하기 쉽게 만들었습니다. 이제는 3개의 파일과 로그만 편집 가능합니다.

실험 처리량 보호: 처음에는 에이전트가 수천 개의 특징을 엔지니어링해 학습을 느리게 하고 RAM 제한으로 실행이 중단되어 밤새 20개도 안 되는 실험을 실행했습니다. 개발자는 특징 수와 트리 수에 대한 엄격한 제한을 추가하고, 한 번에 하나의 실험만 실행되도록 파일 잠금을 도입했습니다. 이러한 수정 후 시스템은 하루에 수백 건의 실험을 실행합니다.

구조화된 로깅을 통한 지속적 메모리: LOG.md(실험별 가설, 결과, 시사점)와 LEARNING.md(중요한 통찰) 없이는 에이전트가 이미 시도한 실험을 반복합니다. 매 실행 후 강제 로깅은 무한 루프 동안 에이전트에게 메모리를 제공합니다.

도커 샌드박스는 필수적입니다: --dangerously-skip-permissions 플래그는 완전한 셸 접근을 의미하므로, 보안을 위해 컨테이너 경계가 필요합니다.

완벽한 평가: 개발자는 원래 k-폴드 교차 검증을 사용했지만, 에이전트가 실제로는 데이터 누출인 '개선'을 발견했습니다. 그들은 확장 시간 창(과거 데이터로 학습, 미래 예측)으로 전환했는데, 이는 훨씬 속이기 어렵습니다.

성능 및 리소스 고려사항

이 설정으로 컨텍스트는 천천히 증가합니다—하루치 실험에 대해 약 25만 토큰으로, 아직 Opus 4.6의 컨텍스트 제한(100만 토큰)에 도달하지 않았습니다. 이 시스템은 Max 5x에서 실행되지만, 대부분의 시간이 코드 생성보다 실험 실행에 소요되므로 비수 시간대에는 Pro 계정에서도 운영될 수 있습니다.

코드는 오픈 소스(익명화됨)로 제공되며, 클로드 코드로 부트스트랩되었지만 시스템을 올바르게 만드는 데 여러 차례의 수동 반복이 필요했습니다.