原始人対「簡潔に」プロンプト：Claude向け圧縮プロンプトのベンチマーク

開発者がキャブマン（人気の省略圧縮プロンプト）を単純なプロンプト「簡潔に。」とベンチマークし、余分な複雑さが実際に効果を発揮するかどうかを調べました。テストでは、6つのカテゴリにわたる24の開発プロンプトを実行し、5つのアーム（ベースライン、「簡潔に。」、キャブマンライト、キャブマンフル、キャブマンウルトラ）を比較しました。出力は、プロンプトごとのルーブリックを使用して別のClaudeインスタンスによって評価されました。

ベンチマーク結果

• ベースライン: 平均スコア0.985、平均トークン数636
• 「簡潔に。」: 平均スコア0.985、平均トークン数419
• キャブマンライト: 平均スコア0.976、平均トークン数401
• キャブマンフル: 平均スコア0.975、平均トークン数404
• キャブマンウルトラ: 平均スコア0.970、平均トークン数449

2語のバージョンは、圧縮と品質の両方でキャブマンに匹敵しました。しかし、キャブマンの価値は別のところにあります。一貫した出力構造、モード切り替え、破壊的操作に対する安全エスケープです。安全エスケープは実際に出力品質に大きなばらつきをもたらし、特定のユースケースでは懸念事項となる可能性があります。

各カテゴリのデータと安全性に関する質問のばらつきの結果を含む完全な内訳は、作者のサイトでご覧いただけます。ベンチマークハーネスはGitHubでオープンソースとして公開されています。