Opus 4.6 destaca-se em pesquisa, Gemini 3.1 Pro tem melhor julgamento em benchmark de previsão

✍️ OpenClawRadar📅 Publicado: May 7, 2026🔗 Source
Opus 4.6 destaca-se em pesquisa, Gemini 3.1 Pro tem melhor julgamento em benchmark de previsão
Ad

Um usuário do Reddit publicou resultados de um benchmark comparando quatro modelos de fronteira — Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro e Grok 4.20 — em 1.417 questões de previsão binária de outubro a dezembro de 2025. A principal inovação é decompor o desempenho em duas condições de avaliação: agentiva (cada modelo realiza sua própria pesquisa na web usando ferramentas) e evidências fixas (todos os modelos recebem o mesmo dossiê de pesquisa de ~12.000 caracteres compilado pela metodologia de padronização Bosse et al. 2026).

Principais descobertas

  • Opus 4.6 tem desempenho dramaticamente melhor na condição agentiva: é melhor em descobrir o que pesquisar, decidir quais páginas ler e extrair detalhes relevantes. No entanto, quando a pesquisa é removida, sua vantagem desaparece.
  • Gemini 3.1 Pro oferece julgamento mais preciso sobre evidências fixas — pondera informações com mais precisão em tarefas de previsão. Sua calibração na verdade melhora quando recebe o dossiê padronizado, enquanto a calibração do Opus cai drasticamente.
  • GPT-5.4 e Grok 4.20 quase não mudaram entre as condições, sugerindo que seu desempenho depende menos da estratégia de busca.
  • A ordem de classificação inverteu entre Opus e Gemini nas condições, o que o autor argumenta indicar que a avaliação não é falha ou tendenciosa (uma avaliação tendenciosa provavelmente moveria todos os modelos na mesma direção).
Ad

Interpretação

A assimetria na calibração — a calibração do Opus cai quando a pesquisa é removida, enquanto a do Gemini melhora — sugere que o Opus pode estar usando seu traço de pesquisa como andaime para atribuição de probabilidade. Em outras palavras, o ato de conduzir o loop de pesquisa por si só faz parte do trabalho epistêmico, separado das informações que ele traz à tona. Esta é uma descoberta inovadora que pode ter implicações sobre como avaliamos e projetamos agentes de pesquisa de IA.

Limitações e recursos

Os dossiês de evidências fixas são eles próprios produzidos por LM, portanto o teste pode medir quão bem cada modelo interpreta uma versão padronizada específica das evidências, em vez de julgamento abstrato. O autor nota isso como uma limitação, mas argumenta que o comportamento divergente entre os modelos reduz a preocupação.

Pontuações completas de calibração, pontuações de refinamento e análise por condição estão disponíveis em: futuresearch.ai/opus-research-gemini-judgment. O benchmark e o leaderboard estão em: evals.futuresearch.ai.

Até onde o autor sabe, esta é a primeira avaliação direta de modelos de fronteira que decompõe o desempenho em estágios de pesquisa vs. julgamento. Eles convidam à replicação em outros domínios.

📖 Leia a fonte original: r/ClaudeAI

Ad

👀 See Also

Benchmarks Mostram que Modelos Destilados Igualam LLMs de Fronteira em Tarefas Estruturadas com Custo 10x Menor
News

Benchmarks Mostram que Modelos Destilados Igualam LLMs de Fronteira em Tarefas Estruturadas com Custo 10x Menor

Uma comparação abrangente de modelos pequenos destilados Qwen3 (0.6B a 8B) com LLMs de ponta mostra que os modelos destilados igualam ou superam os modelos de ponta de nível médio em 6 de 9 tarefas com custo dramaticamente menor, com Text2SQL alcançando 98,0% de precisão a US$ 3/M de solicitações versus US$ 378 para Claude Haiku.

OpenClawRadar
Teste de Raciocínio Espacial de LLM: Benchmark Sokoban Mostra ChatGPT, Qwen3.7-max, Gemini 3.5-thinking na Liderança
News

Teste de Raciocínio Espacial de LLM: Benchmark Sokoban Mostra ChatGPT, Qwen3.7-max, Gemini 3.5-thinking na Liderança

Um benchmark personalizado de Sokoban testou o raciocínio espacial zero-shot em LLMs com formatação rigorosa. Apenas ChatGPT, Qwen3.7-max e Gemini 3.5-thinking passaram. Modelos como Gemini 3.5-flash e Qwen3.7-plus falharam devido a movimentos ilegais ou deadlocks.

OpenClawRadar
Mercado Nano‑Nativo Abre Caminho para Colaboração de Agentes Autônomos com NanoBazaar
News

Mercado Nano‑Nativo Abre Caminho para Colaboração de Agentes Autônomos com NanoBazaar

O NanoBazaar, o novo mercado nativo em nanoescala, revoluciona o trabalho de agente para agente ao permitir que agentes de codificação de IA colaborem de forma autônoma e eficiente. Descubra como esta plataforma inovadora capacita transações conduzidas por máquinas.

OpenClawRadar
Limites de uso do Claude Cowork dobrados para 10 horas até 5 de julho
News

Limites de uso do Claude Cowork dobrados para 10 horas até 5 de julho

A Anthropic dobrou o limite de uso de 5 para 10 horas no Claude Cowork pelo próximo mês, em todos os planos pagos. Disponível até 5 de julho via aplicativo de desktop.

OpenClawRadar