SkillOpt: Оптимизация файлов навыков Markdown как обучаемых параметров для AI-агентов

SkillOpt — это новый фреймворк оптимизации, который рассматривает файлы навыков Markdown как обучаемые параметры, применяя надлежащие механизмы оптимизации к ad-hoc редактированию навыков, которое многие разработчики агентов уже выполняют. Статья (arxiv.org/pdf/2605.23904) формализует процесс: передовая модель предлагает ограниченные правки (добавление/удаление/замена) в файлы навыков Markdown, и каждая правка проверяется на отложенном валидационном наборе. Принимаются только строгие улучшения; ничьи отклоняются, а отклоненные правки становятся отрицательным сигналом для последующих раундов.

Ключевые выводы

• Сходимость: Лучшие навыки сходятся за 1–4 принятых правки из множества предложений. Оптимальный бюджет правок — 4–8 на шаг; снятие лимита приводит к коллапсу производительности.
• Размер навыка: Медианный итоговый навык составляет ~920 токенов.
• Перенос модели: Навык, оптимизированный на Codex, был перенесен на Claude Code без изменений и показал прирост +59.7 на SpreadsheetBench. GPT 4.1 Nano с оптимизированным навыком примерно сравнялся с передовыми моделями на процедурных бенчмарках.

Ограничения

Валидационный фильтр требует автоматического оценщика с четкими правильными ответами. Это работает для кода и электронных таблиц, но нарушается для всего открытого.

Для кого это

Для разработчиков, создающих AI-агентов кодирования, которые хотят систематически оптимизировать файлы навыков вместо ручной итерации или ad-hoc инженерии промптов.