카파시의 자율 연구 프로젝트: AI 에이전트가 밤새 LLM 학습 실험을 실행합니다
카파시의 자동연구 프로젝트가 하는 일
안드레이 카파시가 "AI 연구자 루프" 개념을 보여주는 "autoresearch"라는 작은 저장소를 공개했습니다. 이 시스템은 AI 에이전트를 사용하여 단일 GPU에서 밤새 LLM 훈련 실험을 자율적으로 실행합니다.
작동 방식
에이전트는 다음과 같은 워크플로우를 따릅니다:
train.py파일을 지속적으로 수정합니다- 5분짜리 나노챗 훈련 실험을 실행합니다
- 검증 비트퍼바이트(
val_bpb) 지표가 개선되었는지 확인합니다 - 사용자가 자는 동안 이 사이클을 반복합니다
설정 및 구성
이 프로젝트는 매우 간단한 설정을 가지고 있습니다:
- 하드웨어: 하나의 GPU
- 파일: 하나의 메인 파일
- 지표: 하나의 주요 지표(
val_bpb)
사람은 program.md에 연구 조직 프롬프트를 작성하고, 에이전트가 코드 반복 작업을 처리합니다.
실험 처리량
실험당 고정된 5분 예산으로, 시스템은 시간당 약 12개의 실험을 실행할 수 있습니다.
이 접근 방식은 AI 에이전트가 매개변수 공간과 훈련 구성을 자율적으로 탐색할 수 있는 자동화된 연구의 실용적인 구현을 보여주며, 언어 모델을 다루는 개발자들의 실험 주기를 가속화할 수 있습니다.
📖 전체 소스 읽기: r/LocalLLaMA
👀 See Also
OpenClaw 사용자가 ChatGPT 에이전트 워크플로우 행동을 개선하기 위해 'feelslikeclaude' 스킬을 생성합니다
한 개발자가 OpenClaw 설정을 Claude에서 ChatGPT로 전환한 후 핵심 차이가 글쓰기 스타일이 아닌 워크플로우 행동에 있음을 발견했습니다. 그들은 ChatGPT의 실행 습관을 개선하기 위해 'feelslikeclaude'라는 clawhub 스킬을 만들었습니다.
채팅 저장 CG: Claude로 구축된 브라우저 확장 프로그램, 12개 AI 플랫폼 대화 내보내기
한 개발자가 Claude, ChatGPT, Gemini 등 12개 AI 플랫폼 간 대화를 내보내고 전송하는 브라우저 확장 프로그램 'Chat Saver CG'를 출시했습니다. 이 도구는 개발 과정 전반에 걸쳐 Claude의 상당한 도움을 받아 구축되었습니다.
Hearth: 가정용 오픈클로 기반 멀티유저 AI 채팅 앱
Hearth는 OpenClaw 기반의 자체 호스팅 가정용 AI 채팅 앱으로, 각 가족 구성원마다 별도의 계정과 대화를 제공하며, PIN/생체 인식 로그인, 비공개 채팅, 알림, 모델 프리셋 등의 기능을 포함합니다.
Forge: 자동화된 검증과 프로젝트 DNA를 갖춘 Claude 기반 IDE
포지는 VS Code 기반의 Claude 기반 IDE로, 코드를 보여주기 전에 자동으로 타입 검사, 테스트, 커버리지 검사, 임포트 검증을 실행합니다. 검증 실패 시 자가 치유 루프를 포함하며, 코드베이스 패턴의 프로젝트 DNA를 구축합니다.