Sugestões Vagas São o Verdadeiro Problema, Não o Modelo — Teste de 50 Execuções Mostra que a Qualidade do Prompt Supera a Escolha do Modelo

Um usuário do Reddit realizou um experimento para testar a afirmação comum de que um modelo de IA é mais inteligente que outro. Eles pegaram dez prompts comuns e executaram cada um através do ChatGPT 4, Claude Sonnet e Gemini 1.5 Pro cinco vezes cada — 150 saídas no total.

O que descobriram: as saídas eram estranhamente semelhantes em qualidade. Não idênticas, mas dentro do mesmo nível. Todos os três deram algo utilizável ou todos os três deram "massa genérica". Eles quase nunca discordavam sobre se um prompt era respondível. A variável não era o modelo — era o prompt.

Dois prompts, resultados diferentes

O mesmo prompt vago produziu uma saída idêntica e sem graça em todos os modelos. Por exemplo:

"Escreva uma carta de apresentação para uma vaga de marketing"

Todos os três retornaram o mesmo tipo de carta de apresentação genérica, aplicável a qualquer pessoa. As pessoas chamariam de "carta de apresentação do ChatGPT", depois tentariam o Claude e chamariam de "carta de apresentação do Claude" — mesma carta, nome diferente.

Mas um prompt específico mudou tudo:

"Escreva uma carta de apresentação para uma vaga sênior de marketing em uma empresa de SaaS B2B. Tenho 7 anos de experiência em crescimento, principalmente em startups Série A/B. O gerente de contratação é técnico, ex-engenheiro. Evite frases genéricas como 'apaixonado por' ou 'orientado a resultados'. Use números específicos do meu histórico onde fizer sentido inventar números plausíveis. Alvo de 280 palavras."

Todos os três retornaram algo realmente bom. Diferentes em estilo, mas todos úteis.

Padrão comum nas reclamações

O usuário revisou dezenas de reclamações de "IA é tão ruim" no Twitter e Reddit e percebeu o mesmo padrão: prompts como:

• "Me ajude com meu currículo"
• "Escreva um plano de marketing"
• "Explique física quântica"
• "Melhore este código"

Esses prompts falham porque não especificam quem você é, para quem é, como é o bom resultado ou o que evitar. O modelo tem que adivinhar a versão mais comum da solicitação — que é um modelo genérico.

Modelo mental: prompt como briefing

A percepção principal: pare de pensar nisso como "fazer uma pergunta à IA". Pense como "escrever um briefing para um estagiário". Um bom briefing informa ao estagiário o público, como é o sucesso, o que evitar, formato, restrições e pelo menos um exemplo do tipo de saída desejada.

Assim que o usuário começou a escrever prompts como briefings, a troca de modelos parou. ChatGPT, Claude e Gemini melhoraram drasticamente — não porque os modelos mudaram, mas porque os prompts mudaram.

Se você está tentado a trocar de modelo porque um dá resultados ruins, tente primeiro aprimorar seu prompt. As diferenças entre modelos são reais, mas muito menores do que as diferenças entre prompts.