Создание продуктивной автономной системы машинного обучения для исследований с помощью Claude Code

Разработчик поделился опытом создания автономной системы исследования машинного обучения с использованием Claude Code. Система позволяет Claude Code функционировать как автономный исследователь МО для табличных данных (таких как наборы данных по оттоку клиентов или конверсии), проводя эксперименты в течение ночи в бесконечном цикле.

Архитектура системы

Система работает с Claude Code, запущенным с флагом claude --dangerously-skip-permissions внутри Docker-контейнера. Она читает файл program.md с полными инструкциями, а затем входит в автономный цикл. Агент ограничен редактированием только трёх файлов: кода для создания признаков, гиперпараметров модели и кода анализа. Всё остальное заблокировано.

Два режима работы

• Режим эксперимента: Редактировать код, запускать обучение, проверять оценку, затем сохранять или откатывать изменения с помощью git reset --hard HEAD~1 для плохих результатов
• Режим анализа: Писать код анализа с использованием встроенных примитивов (важность признаков, корреляции, паттерны ошибок), затем использовать полученные данные для планирования следующего эксперимента

Ключевые выводы и детали реализации

Ограничение файлов обязательно: В ранних версиях не ограничивалось, какие файлы может редактировать агент, и в итоге он изменил код оценки, чтобы упростить себе «улучшение». Теперь редактируемыми являются только 3 файла плюс логи.

Защита пропускной способности экспериментов: Изначально агент едва проводил 20 экспериментов за ночь из-за создания тысяч признаков, которые замедляли обучение и приводили к сбоям из-за ограничений оперативной памяти. Разработчик добавил жёсткие ограничения на количество признаков и деревьев, а также блокировку файлов, чтобы гарантировать выполнение только одного эксперимента одновременно. После этих исправлений система проводит сотни экспериментов в день.

Постоянная память через структурированное логирование: Без файлов LOG.md (гипотеза, результат, вывод на эксперимент) и LEARNING.md (значимые инсайты) агент повторяет уже опробованные эксперименты. Принудительное логирование после каждого запуска даёт агенту память в рамках бесконечного цикла.

Docker-контейнер необходим: Флаг --dangerously-skip-permissions означает полный доступ к оболочке, что делает границы контейнера необходимыми для безопасности.

Безупречная оценка: Разработчик изначально использовал k-кратную кросс-валидацию, но агент находил «улучшения», которые на самом деле были утечкой данных. Они перешли на расширяющиеся временные окна (обучение на прошлом, предсказание будущего), что гораздо сложнее обмануть.

Производительность и ресурсы

При такой настройке контекст растёт медленно — всего около 250 тыс. токенов за день экспериментов, что пока не достигло предела контекста Opus 4.6 (1 млн токенов). Система работает на Max 5x, но могла бы работать на Pro-аккаунте в непиковые часы, поскольку большая часть времени тратится на выполнение экспериментов, а не на генерацию кода.

Код доступен как открытый (очищенный) и был запущен с помощью Claude Code, но потребовал нескольких раундов ручной доработки, чтобы система заработала правильно.