Нечеткие промпты — настоящая проблема, а не модель: тест из 50 запусков показывает, что качество промпта важнее выбора модели

Пользователь Reddit провел эксперимент, чтобы проверить распространенное утверждение, что одна ИИ-модель умнее другой. Он взял десять типовых промптов и запустил каждый из них через ChatGPT 4, Claude Sonnet и Gemini 1.5 Pro по пять раз — всего 150 ответов.

Что он выяснил: результаты оказались подозрительно похожи по качеству. Не идентичны, но в одной весовой категории. Все три либо давали что-то пригодное к использованию, либо все три выдавали «шаблонную кашу». Они почти никогда не расходились во мнениях, можно ли ответить на промпт. Переменной была не модель, а промпт.

Два промпта — разные результаты

Один и тот же расплывчатый промпт порождал одинаково безликие ответы во всех моделях. Например:

«Напиши сопроводительное письмо для вакансии в маркетинге»

Все три выдали однотипное шаблонное письмо, подходящее кому угодно. Люди бы назвали его «письмом от ChatGPT», а затем попробовали бы Claude и назвали бы его «письмом от Claude» — то же письмо, другое имя.

Но конкретный промпт всё изменил:

«Напиши сопроводительное письмо для старшей маркетинговой должности в B2B SaaS-компании. У меня 7 лет опыта в росте, в основном в стартапах на стадиях Series A/B. Нанимающий менеджер — технический специалист, бывший инженер. Избегай общих фраз вроде „увлечен“ или „ориентирован на результат“. Используй конкретные цифры из моего опыта, где уместно, придумай правдоподобные. Целевой объем — 280 слов.»

Все три выдали действительно хороший результат. Разный по стилю, но полезный.

Общий паттерн в жалобах

Пользователь просмотрел десятки жалоб «ИИ ужасен» в Twitter и Reddit и заметил тот же паттерн: промпты вроде:

• «Помоги с резюме»
• «Напиши маркетинговый план»
• «Объясни квантовую физику»
• «Улучши этот код»

Эти промпты проваливаются, потому что не уточняют кто вы, для кого это, как выглядит успех или чего избегать. Модели приходится угадывать самый распространенный вариант запроса — а это шаблон.

Мысленная модель: промпт как бриф

Ключевое понимание: перестаньте думать об этом как о «задавании вопроса ИИ». Думайте как о «написании брифа для стажера». Хороший бриф говорит стажеру об аудитории, о том, как выглядит успех, чего избегать, о формате, ограничениях и хотя бы одном примере желаемого результата.

Как только пользователь начал писать промпты как брифы, переключение между моделями перестало иметь значение. ChatGPT, Claude и Gemini — все стали заметно лучше, не потому что модели изменились, а потому что изменились промпты.

Если вам хочется сменить модель из-за плохих результатов, попробуйте сначала уточнить промпт. Различия между моделями реальны, но они гораздо меньше, чем различия между промптами.