Claude Codeを使用してAI研究実験を12時間自動化する
Claude Codeによる自動化AI研究
開発者がClaude Codeを使用して12時間連続でAI研究実験を自動化した経緯を記録しました。このプロジェクトは、自己蒸留を用いてコンテキストを重みに移行するリアルタイム継続学習フレームワーク「CLaaS」に焦点を当てています。
実験設定
目標は、自己蒸留トレーニング実行を調整し、簡潔な応答や絵文字不使用など、様々な選好検証器に対するモデルの適合度を最大化することでした。実験はRTX 5090で一晩中ローカル実行されました。
システムアーキテクチャ
リポジトリは高度に設定可能な設計になっています：
- Hydra設定管理を使用してCLI経由で全ての調整可能パラメータを公開
- 各トレーニングステップと評価実行のためのHTMLダッシュボード
- ダッシュボードを通じて指標、入力、出力を可視化
- Claude Codeはcurlリクエストでダッシュボードを照会し進捗を確認可能
実験管理
ワークフローは特定のルールを持つローカルのEXPERIMENTS.mdファイルで制御されました：
- 各実験では最大1つの変数変更または1つのコード変更のみ許可
- 実験間では、モデルは結果に基づいて前回の変更を採用または元に戻す必要あり
- 新しいコード変更は後続の調整のために設定経由で公開必須
- モデルは進行状況、仮説、結果を実行記録としてファイルに記録
- 選好適合度最大化を目的とした「ラルフ・ウィガム・ループ」を採用
結果
12時間にわたり、システムは9回の実験を実行：
- 最初の実行でモデル崩壊バグを発見・修正
- バッチあたりの勾配ステップ数を4に調整
- 学習率を3e-5に調整
- 適合度が0.000から1.000に改善
- 実験間のトレーニング実行待機時間が大半のため、トークン使用量は驚くほど低水準
同じタスクはCodexでも2時間実行され（プレーンなプロンプト使用）、独立して同じハイパーパラメータに収束しました。
プロジェクトリポジトリ：https://github.com/kfallah/CLaaS
📖 全文を読む： r/ClaudeAI
👀 See Also
開発者が報告するAIコーディングの課題：設計判断と実ユーザーによるデバッグ
Claude Codeを使って5ヶ月間iOSアプリを開発している開発者が報告したところによると、AIは機能的なコードを容易に生成できるが、デザインの決定や実際のユーザーが使うことで初めて現れる問題のデバッグが最も難しい部分だとしている。このアプリは22万行のコードを持ち、実際のユーザーによるテストが行われている。
複数のテレグラムボットを単一のAIエージェントで並列タスク実行する
ある開発者が、AIエージェントが一つのタスクを終えるのを待たずに次のタスクを開始できるようにする問題を解決しました。その方法は、3つのTelegramボットを設定し、それらすべてを同じ基盤となるエージェントにバインドすることでした。各ボットは独自のチャットと会話履歴を持ちながら独立して動作し、同じワークスペース、メモリ、学習内容を共有します。
Claude用の永続的パーソナルOS構築：心理学プロファイル、目標、Notion＋ショートカットによるライブコンテキスト注入
ある開発者が、Notion上に永続的なパーソナルOSを構築しました。これは、圧縮された800語の心理プロファイル、目標、人間関係、ライブコンテキスト（場所、時間、カレンダー、天気）をiOSショートカット経由で毎回のClaude API呼び出しに注入し、毎晩のデブリーフループでコンテキストを最新に保つものです。
デザイナーがClaude CodeとローカルビジョンモデルでネイティブMac写真タグ付けアプリを構築
Xcodeの経験がないデザイナーがClaude Codeを使ってLoupeを構築しました。これはSwiftUIのMacアプリで、ローカルのビジョンモデル（Ollama経由のminicpm-v）を使って写真を分析し、IPTC/XMPメタデータを書き込みます。アプリには並列処理、ハードウェア自動検出、タグ付けスタイルに適応する学習システムが含まれています。