Пещерный человек против подсказки "будь кратким": сравнение эффективности подсказок для сжатия в Клоде

Разработчик сравнил «пещерный» стиль (популярный сокращающий запрос) с простым запросом «будь краток.», чтобы выяснить, оправдывает ли себя дополнительная сложность. Тест включал 24 запроса по 6 категориям, сравнивая 5 вариантов: базовый, «будь краток.», пещерный лайт, пещерный полный и пещерный ультра. Выводы оценивались отдельным экземпляром Claude по рубрикам для каждого запроса.

Результаты бенчмарка

• Базовый: средний балл 0.985, среднее количество токенов 636
• «будь краток.»: средний балл 0.985, среднее количество токенов 419
• Пещерный лайт: средний балл 0.976, среднее количество токенов 401
• Пещерный полный: средний балл 0.975, среднее количество токенов 404
• Пещерный ультра: средний балл 0.970, среднее количество токенов 449

Двухсловная версия сравнялась с пещерным стилем как по сжатию, так и по качеству. Однако ценность пещерного стиля в другом: стабильная структура вывода, переключение режимов и защита от разрушительных операций. Защита, правда, внесла значительную вариативность в качество вывода, что может быть проблемой для некоторых случаев использования.

Полная разбивка с данными по категориям и выводами о вариативности по вопросам безопасности доступна на сайте автора. Инструмент бенчмаркинга с открытым исходным кодом на GitHub.