SkillOpt: Otimizando Arquivos de Habilidade Markdown como Parâmetros Treináveis para Agentes de IA

SkillOpt é uma nova estrutura de otimização que trata arquivos de habilidades em markdown como parâmetros treináveis, aplicando maquinário de otimização adequado à edição ad-hoc de habilidades que muitos construtores de agentes já realizam. O artigo (arxiv.org/pdf/2605.23904) formaliza um processo: um modelo de fronteira propõe edições limitadas (adicionar/deletar/substituir) em arquivos de habilidades markdown, e cada edição é validada contra um conjunto de validação separado. Apenas melhorias estritas são aceitas; empates são rejeitados, e edições rejeitadas se tornam sinal negativo para rodadas subsequentes.

Principais Descobertas

• Convergência: As melhores habilidades convergem com 1 a 4 edições aceitas dentre muitas propostas. Um orçamento de edição de 4 a 8 por etapa funciona melhor; remover o limite causa colapso no desempenho.
• Tamanho da habilidade: A mediana do tamanho final da habilidade é ~920 tokens.
• Transferência entre modelos: Uma habilidade otimizada no Codex transferida para o Claude Code sem modificação ganhou +59,7 no SpreadsheetBench. GPT 4.1 Nano com uma habilidade otimizada igualou aproximadamente modelos de fronteira em benchmarks processuais.

Limitações

A validação requer um avaliador automático com respostas corretas claras. Isso funciona para código e planilhas, mas falha para qualquer coisa aberta.

Para Quem é

Desenvolvedores construindo agentes de codificação de IA que desejam otimizar sistematicamente arquivos de habilidades em vez de depender de iteração manual ou engenharia de prompt ad-hoc.