SkillOpt: Optimierung von Markdown-Fähigkeitsdateien als trainierbare Parameter für KI-Agenten

SkillOpt ist ein neues Optimierungs-Framework, das Markdown-Skill-Dateien als trainierbare Parameter behandelt und die Ad-hoc-Skill-Bearbeitung, die viele Agent-Entwickler bereits durchführen, mit richtiger Optimierungsmethodik versieht. Das Papier (arxiv.org/pdf/2605.23904) formalisiert einen Prozess: Ein Frontier-Modell schlägt begrenzte Änderungen (Hinzufügen/Löschen/Ersetzen) an Markdown-Skill-Dateien vor, und jede Änderung wird gegen einen zurückgehaltenen Validierungssatz geprüft. Nur strikte Verbesserungen werden akzeptiert; Gleichstände werden abgelehnt, und abgelehnte Änderungen dienen als negatives Signal für nachfolgende Runden.

Wichtigste Erkenntnisse

• Konvergenz: Die besten Skills konvergieren mit 1 bis 4 akzeptierten Änderungen aus vielen weiteren Vorschlägen. Ein Änderungsbudget von 4 bis 8 pro Schritt funktioniert am besten; wenn die Obergrenze entfernt wird, bricht die Leistung ein.
• Skill-Größe: Der mediane endgültige Skill hat ~920 Tokens.
• Modellübertragung: Ein auf Codex optimierter Skill wurde ohne Änderung auf Claude Code übertragen und erzielte +59,7 auf SpreadsheetBench. GPT 4.1 Nano mit einem optimierten Skill erreichte in etwa die Leistung von Frontier-Modellen bei prozeduralen Benchmarks.

Einschränkungen

Das Validierungs-Gate erfordert einen automatischen Bewerter mit klaren korrekten Antworten. Dies funktioniert für Code und Tabellenkalkulationen, versagt jedoch bei allem Offenen.

Für wen es gedacht ist

Entwickler, die KI-Codierungsagenten bauen und Skill-Dateien systematisch optimieren möchten, anstatt sich auf manuelle Iteration oder Ad-hoc-Prompt-Engineering zu verlassen.