SkillOpt：AIエージェントの訓練可能パラメータとしてマークダウンスキルファイルを最適化

SkillOptは、マークダウンスキルファイルを訓練可能なパラメータとして扱う新しい最適化フレームワークです。多くのエージェント開発者がすでに行っているアドホックなスキル編集に、適切な最適化手法を適用します。論文（arxiv.org/pdf/2605.23904）では、フロンティアモデルがマークダウンスキルファイルへの制限付き編集（追加/削除/置換）を提案し、各編集をホールドアウト検証セットで評価するプロセスを形式化しています。厳密な改善のみが承認され、同点は却下、却下された編集は以降のラウンドで負のシグナルとなります。

主な発見

• 収束: 最適なスキルは、多数の提案の中から1〜4回の承認で収束します。ステップごとの編集予算は4〜8が最適で、上限を撤廃するとパフォーマンスが崩壊します。
• スキルサイズ: 最終的なスキルの中央値は約920トークンです。
• モデル転送: Codexで最適化したスキルをClaude Codeに変更なしで転送し、SpreadsheetBenchで+59.7を達成。GPT 4.1 Nanoも最適化スキルでフロンティアモデルに匹敵するパフォーマンスを手続き型ベンチマークで示しました。

制限事項

検証ゲートには明確な正解を持つ自動評価装置が必要です。コードやスプレッドシートでは機能しますが、自由回答形式の問題では破綻します。

対象読者

AIコーディングエージェントを開発し、手動での反復やアドホックなプロンプトエンジニアリングに頼らず、スキルファイルを体系的に最適化したい開発者向けです。