Prompt 'homem das cavernas' vs 'seja breve': avaliando prompts de compressão para Claude
Um desenvolvedor comparou o caveman (o popular prompt de compressão abreviada) com o simples prompt 'seja breve.' para ver se a complexidade extra realmente compensa. O teste executou 24 prompts de desenvolvimento em 6 categorias, comparando 5 braços: linha de base, 'seja breve.', caveman lite, caveman full e caveman ultra. As saídas foram avaliadas por uma instância separada do Claude usando rubricas por prompt.
Resultados do benchmark
- Linha de base: pontuação média 0,985, tokens médios 636
- 'seja breve.': pontuação média 0,985, tokens médios 419
- Caveman lite: pontuação média 0,976, tokens médios 401
- Caveman full: pontuação média 0,975, tokens médios 404
- Caveman ultra: pontuação média 0,970, tokens médios 449
A versão de duas palavras igualou o caveman tanto em compressão quanto em qualidade. No entanto, o valor do caveman está em outros aspectos: estrutura de saída consistente, alternância de modos e o escape de segurança em operações destrutivas. O escape de segurança, na verdade, introduziu variância significativa na qualidade da saída, o que pode ser uma preocupação para certos casos de uso.
A análise completa com dados por categoria e descobertas de variância em questões de segurança está disponível no site do autor. O harness do benchmark é open source no GitHub.
📖 Leia a fonte original: r/ClaudeAI
👀 See Also
A Anthropic adquire a Vercept AI para aprimorar as capacidades de uso de computador do Claude
A Anthropic adquiriu a Vercept AI para trabalhar em recursos de uso de computador para o Claude. A aquisição se concentra em resolver problemas de percepção e interação para tornar a IA mais útil para tarefas complexas.
Anthropic reverte política sobre SDK de agente de terceiros e claude-p, reduz valor de inferência efetivo em 25-40x para assinantes máximos
A Anthropic reverteu a proibição de agentes de terceiros usarem credenciais de assinatura, mas moveu o claude-p e o Agent SDK para um pool de créditos separado, sem rollover, cobrado pelas taxas da API, reduzindo o valor efetivo de inferência em 25 a 40 vezes para assinantes Max.
Campanha Anti-IA da Polaroid Ataca Fadiga Digital com Anúncios Analógicos Impressos
A nova campanha da Polaroid para a câmera Flip usa anúncios impressos com frases como 'IA não pode gerar areia entre seus dedos' para contrastar o analógico com a cultura digital/AI.
Comparação de Desempenho entre Qwen3-30B-A3B e Qwen3.5-35B-A3B no RTX 5090
Um benchmark direto entre Qwen3-30B-A3B e Qwen3.5-35B-A3B em uma RTX 5090 mostra que o modelo de 30B é 35% mais rápido na geração, enquanto o modelo 3.5 lida melhor com contexto longo, apresentando escalonamento plano de tokens contra uma degradação de 21% do modelo de 30B.