Нечеткие промпты — настоящая проблема, а не модель: тест из 50 запусков показывает, что качество промпта важнее выбора модели

Пользователь Reddit провел эксперимент, чтобы проверить распространенное утверждение, что одна ИИ-модель умнее другой. Он взял десять типовых промптов и запустил каждый из них через ChatGPT 4, Claude Sonnet и Gemini 1.5 Pro по пять раз — всего 150 ответов.
Что он выяснил: результаты оказались подозрительно похожи по качеству. Не идентичны, но в одной весовой категории. Все три либо давали что-то пригодное к использованию, либо все три выдавали «шаблонную кашу». Они почти никогда не расходились во мнениях, можно ли ответить на промпт. Переменной была не модель, а промпт.
Два промпта — разные результаты
Один и тот же расплывчатый промпт порождал одинаково безликие ответы во всех моделях. Например:
«Напиши сопроводительное письмо для вакансии в маркетинге»
Все три выдали однотипное шаблонное письмо, подходящее кому угодно. Люди бы назвали его «письмом от ChatGPT», а затем попробовали бы Claude и назвали бы его «письмом от Claude» — то же письмо, другое имя.
Но конкретный промпт всё изменил:
«Напиши сопроводительное письмо для старшей маркетинговой должности в B2B SaaS-компании. У меня 7 лет опыта в росте, в основном в стартапах на стадиях Series A/B. Нанимающий менеджер — технический специалист, бывший инженер. Избегай общих фраз вроде „увлечен“ или „ориентирован на результат“. Используй конкретные цифры из моего опыта, где уместно, придумай правдоподобные. Целевой объем — 280 слов.»
Все три выдали действительно хороший результат. Разный по стилю, но полезный.
Общий паттерн в жалобах
Пользователь просмотрел десятки жалоб «ИИ ужасен» в Twitter и Reddit и заметил тот же паттерн: промпты вроде:
«Помоги с резюме»«Напиши маркетинговый план»«Объясни квантовую физику»«Улучши этот код»
Эти промпты проваливаются, потому что не уточняют кто вы, для кого это, как выглядит успех или чего избегать. Модели приходится угадывать самый распространенный вариант запроса — а это шаблон.
Мысленная модель: промпт как бриф
Ключевое понимание: перестаньте думать об этом как о «задавании вопроса ИИ». Думайте как о «написании брифа для стажера». Хороший бриф говорит стажеру об аудитории, о том, как выглядит успех, чего избегать, о формате, ограничениях и хотя бы одном примере желаемого результата.
Как только пользователь начал писать промпты как брифы, переключение между моделями перестало иметь значение. ChatGPT, Claude и Gemini — все стали заметно лучше, не потому что модели изменились, а потому что изменились промпты.
Если вам хочется сменить модель из-за плохих результатов, попробуйте сначала уточнить промпт. Различия между моделями реальны, но они гораздо меньше, чем различия между промптами.
📖 Читать полный источник: r/ClaudeAI
👀 Смотрите также

Практические стратегии для обхода лимитов запросов у Claude на тарифе $200 Max Plan
Разработчик делится конкретными техниками, которые более месяца предотвращали троттлинг на максимальном тарифе Claude в $200, включая запросы к базам данных SQLite, системы передачи контекста и стратегическое развертывание оборудования.

Как настроить утренний брифинг на AI

Пользователи Claude отмечают, что сессии проходят быстрее, если запрашивать документы в формате markdown вместо Word.
Пользователь Claude обнаружил, что запрос вывода в формате markdown вместо документов Word значительно сокращает время ответа и использование токенов. ИИ изначально выводит markdown, в то время как создание файлов .docx требует запуска среды Python и выполнения скриптов конвертации.

Не предполагайте, что дорогие модели лучше: пример экономии в 13 раз при тестировании
Пользователь заменил GPT-5.4 на Gemini 3.1 Flash Lite в задаче классификации, получив идентичную точность 85% при затратах в 13 раз меньше, после оценки 21 модели.