Использование Claude Code для автоматизации экспериментов по исследованию ИИ в течение 12 часов.

Автоматизированное исследование ИИ с помощью Claude Code

Разработчик задокументировал использование Claude Code для автоматизации экспериментов по исследованию ИИ в течение 12 часов подряд. Проект был сосредоточен на CLaaS, фреймворке непрерывного обучения в реальном времени, который перемещает контекст в веса с помощью само-дистилляции.

Экспериментальная установка

Целью была настройка циклов обучения само-дистилляции для максимизации соответствия модели различным верификаторам предпочтений, таким как краткие ответы и отсутствие эмодзи. Эксперименты проводились локально на RTX 5090 в течение ночи.

Архитектура системы

Репозиторий был создан с высокой степенью настраиваемости:

• Каждый настраиваемый параметр доступен через CLI с использованием управления конфигурациями Hydra
• HTML-дашборды для каждого шага обучения и оценочного запуска
• Метрики, входные и выходные данные сделаны наблюдаемыми через дашборды
• Claude Code мог запрашивать дашборды через curl-запросы для проверки прогресса

Управление экспериментами

Рабочий процесс контролировался локальным файлом EXPERIMENTS.md с конкретными правилами:

• Каждый эксперимент мог изменять не более одной переменной или вносить одно изменение в код
• Между экспериментами модель должна была либо принять, либо отменить предыдущее изменение на основе результатов
• Любые новые изменения кода должны были быть доступны через конфигурацию для последующей настройки
• Модель записывала весь прогресс, гипотезы и результаты в файл как текущий журнал
• Использовался "цикл Ральфа Виггама" с целью максимизации соответствия предпочтениям

Результаты

За 12 часов система провела 9 экспериментов:

• Обнаружила и исправила ошибку коллапса модели при первом запуске
• Настроила количество шагов градиента на пакет до 4
• Настроила скорость обучения до 3e-5
• Соответствие улучшилось с 0.000 до 1.000
• Использование токенов было удивительно низким, поскольку большая часть времени уходила на ожидание циклов обучения между экспериментами

Та же задача также была запущена с Codex в течение 2 часов с использованием простого промпта, и он независимо пришёл к тем же гиперпараметрам.

Репозиторий проекта: https://github.com/kfallah/CLaaS