Claude Codeを使用してAI研究実験を12時間自動化する

Claude Codeによる自動化AI研究
開発者がClaude Codeを使用して12時間連続でAI研究実験を自動化した経緯を記録しました。このプロジェクトは、自己蒸留を用いてコンテキストを重みに移行するリアルタイム継続学習フレームワーク「CLaaS」に焦点を当てています。
実験設定
目標は、自己蒸留トレーニング実行を調整し、簡潔な応答や絵文字不使用など、様々な選好検証器に対するモデルの適合度を最大化することでした。実験はRTX 5090で一晩中ローカル実行されました。
システムアーキテクチャ
リポジトリは高度に設定可能な設計になっています:
- Hydra設定管理を使用してCLI経由で全ての調整可能パラメータを公開
- 各トレーニングステップと評価実行のためのHTMLダッシュボード
- ダッシュボードを通じて指標、入力、出力を可視化
- Claude Codeはcurlリクエストでダッシュボードを照会し進捗を確認可能
実験管理
ワークフローは特定のルールを持つローカルのEXPERIMENTS.mdファイルで制御されました:
- 各実験では最大1つの変数変更または1つのコード変更のみ許可
- 実験間では、モデルは結果に基づいて前回の変更を採用または元に戻す必要あり
- 新しいコード変更は後続の調整のために設定経由で公開必須
- モデルは進行状況、仮説、結果を実行記録としてファイルに記録
- 選好適合度最大化を目的とした「ラルフ・ウィガム・ループ」を採用
結果
12時間にわたり、システムは9回の実験を実行:
- 最初の実行でモデル崩壊バグを発見・修正
- バッチあたりの勾配ステップ数を4に調整
- 学習率を3e-5に調整
- 適合度が0.000から1.000に改善
- 実験間のトレーニング実行待機時間が大半のため、トークン使用量は驚くほど低水準
同じタスクはCodexでも2時間実行され(プレーンなプロンプト使用)、独立して同じハイパーパラメータに収束しました。
プロジェクトリポジトリ:https://github.com/kfallah/CLaaS
📖 全文を読む: r/ClaudeAI
👀 See Also

OpenClaw AIエージェントがLinkedIn広告ワークフローを管理、CTR2.65%を達成
ある開発者がOpenClawを使用して「Patrick」というAIエージェントを構築し、データパイプラインの作成、広告コピーの生成、カスタムレビューツールによる承認を含むLinkedIn広告ワークフロー全体を処理しました。AIが生成した広告の1つは2.65%のクリック率を達成し、すべての手動広告を上回りました。

開発者がアイデア出しからデバッグまでClaude AIを使って3つのiOSアプリを数週間で構築
開発者がClaudeを使って3つのiOSアプリ(Smart Facts、Jar of Joy、Bloom Studio)を構築し、アイデア出し、機能の洗練、ロジックの記述、デバッグ、イテレーションを行った事例。

Claude AIがウレタンガラス接着剤を用いた車のサンルーフ修理をユーザーに案内
ユーザーは、高速道路で吹き飛んだ2012年式フォード・フュージョンのサンルーフを、クロードの段階的な指示に従って錆を清掃しウレタンガラス接着剤を塗布することで修理し、5000ドルの車に1500ドルの交換費用を回避しました。

Claudeを使用してメールシステムの不足ユーザーシナリオを監査する
ある開発者がClaudeを活用してデータベーススキーマとメールトリガーを分析し、4つの重大なギャップを特定しました:未確認サインアップへのフォローアップがない、ダウングレードの確認がない、チーム招待の承諾通知がない、プラン制限への接近警告がないことです。