카파시의 자율 연구 프로젝트: AI 에이전트가 밤새 LLM 학습 실험을 실행합니다
카파시의 자동연구 프로젝트가 하는 일
안드레이 카파시가 "AI 연구자 루프" 개념을 보여주는 "autoresearch"라는 작은 저장소를 공개했습니다. 이 시스템은 AI 에이전트를 사용하여 단일 GPU에서 밤새 LLM 훈련 실험을 자율적으로 실행합니다.
작동 방식
에이전트는 다음과 같은 워크플로우를 따릅니다:
train.py파일을 지속적으로 수정합니다- 5분짜리 나노챗 훈련 실험을 실행합니다
- 검증 비트퍼바이트(
val_bpb) 지표가 개선되었는지 확인합니다 - 사용자가 자는 동안 이 사이클을 반복합니다
설정 및 구성
이 프로젝트는 매우 간단한 설정을 가지고 있습니다:
- 하드웨어: 하나의 GPU
- 파일: 하나의 메인 파일
- 지표: 하나의 주요 지표(
val_bpb)
사람은 program.md에 연구 조직 프롬프트를 작성하고, 에이전트가 코드 반복 작업을 처리합니다.
실험 처리량
실험당 고정된 5분 예산으로, 시스템은 시간당 약 12개의 실험을 실행할 수 있습니다.
이 접근 방식은 AI 에이전트가 매개변수 공간과 훈련 구성을 자율적으로 탐색할 수 있는 자동화된 연구의 실용적인 구현을 보여주며, 언어 모델을 다루는 개발자들의 실험 주기를 가속화할 수 있습니다.
📖 전체 소스 읽기: r/LocalLLaMA
👀 See Also
알리바바의 월 10달러 코딩 플랜은 OpenClaw 사용자에게 여러 AI 모델에 대한 대용량 접근을 제공합니다.
월 10달러에 알리바바 플랜은 Qwen3.5-Plus, Kimi-K2.5, GLM-5, MiniMax-M2.5 모델에 접근할 수 있으며, 5시간당 1,200회, 주당 9,000회, 월 18,000회의 요청 할당량을 제공합니다.
Keyoku 플러그인, OpenClaw의 정적 하트비트를 메모리 기반 자율성으로 대체
Keyoku는 에이전트의 하트비트를 정적 HEARTBEAT.md 파일 읽기에서 실제 메모리 저장소를 스캔하여 정체된 작업, 포기된 약속, 충돌하는 정보, 소원해진 관계를 확인하는 방식으로 변경하는 무료 OpenClaw 플러그인입니다. SQLite + HNSW를 사용하는 로컬 Go 엔진으로 작동하며 세 가지 자율성 수준(관찰, 제안, 실행)을 제공합니다.
헤들: 클로드 데스크톱 MCP 연결을 위한 신뢰 강화 및 감사 로깅
Heddle은 Claude Desktop의 MCP 연결에 신뢰 계층, 접근 제어 및 감사 로깅을 추가하는 오픈소스 도구로, 6개의 스타터 팩이 포함된 단일 인터페이스를 통해 여러 서비스를 안전하게 관리할 수 있도록 합니다.
LLM 숨겨진 에이전시 신호(Â)를 활용한 향상된 도구 호출
개발자가 LLM이 AUC > 0.94로 도구 호출을 예측하는 선형 분리 가능한 숨겨진 상태 방향인 Â를 가지고 있음을 발견했습니다. 이 신호를 사용하여 도구 호출을 강제하면 Qwen3-1.7B 성능이 26.7%에서 85%로 향상되었으며(+58% 이득), 도구 미사용 실패가 43%에서 2.6%로 감소했습니다.