Resultados de Benchmark: 15 LLMs Testados em 38 Tarefas de Fluxo de Trabalho Real

Um desenvolvedor criou um sistema de avaliação para determinar para quais LLMs direcionar o trabalho, testando 15 modelos em 38 tarefas de seu fluxo de trabalho real. As tarefas incluíram transformações de CSV, contagem de letras, aritmética modular, conformidade de formato e instruções de múltiplas etapas. Todas as tarefas foram pontuadas programaticamente usando regex e correspondência exata—nenhum juiz LLM foi envolvido.
Resultados da Avaliação
A avaliação envolveu 570 chamadas de API custando $2,29 no total. Principais descobertas:
- Claude 3.5 Opus: 100% de pontuação, $0,69 por execução, 14,2 segundos
- Claude 3.5 Sonnet: 100% de pontuação, $0,20 por execução, 5,1 segundos
- MiniMax M2.5: 98,60% de pontuação, $0,02 por execução, 2,3 segundos
- Kimi K2.5: 98,60% de pontuação, $0,05 por execução, 3,8 segundos
- GPT-oss-20b (local): 98,30% de pontuação, $0 por execução, 4,1 segundos
- Gemini 2.5 Flash: 97,10% de pontuação, $0,00 por execução, 1,1 segundos
- Claude 3.5 Haiku: 96,90% de pontuação, $0,02 por execução, 1,8 segundos
Análise de Custo-Desempenho
Sonnet e Opus obtiveram 100%, mas o Opus custa 3,5 vezes mais por chamada. Para as tarefas diárias do desenvolvedor, o Sonnet lida com tudo que o Opus faz. O Gemini Flash a $0,003 por execução versus o Opus a $0,69 por execução representa uma diferença de custo de 265 vezes para uma diferença de desempenho de 2,9 pontos.
Descobertas Surpreendentes
MiniMax M2.5 e Kimi K2.5 alcançaram 98,6% com 100% de conformidade de formato—o desenvolvedor não havia usado nenhum dos modelos antes de executar a avaliação. O GPT-oss-20b rodando localmente obteve 98,3% por $0, superando o Haiku e o DeepSeek R1.
Processo de QA
O processo de garantia de qualidade revelou bugs de pontuação. Os resultados iniciais mostraram o Haiku superando o Sonnet, o que acabou sendo um bug no sistema de pontuação que produzia notas acima de 100%. Cinco verificações de QA foram realizadas, cada uma com um modelo diferente, e cada uma encontrou bugs que as anteriores haviam perdido.
O desenvolvedor está mudando seu uso diário para o Sonnet com base nesses resultados, mas planeja alternar entre modelos com mais frequência dadas as variações de desempenho.
📖 Read the full source: r/ClaudeAI
👀 See Also

Destilaria: Um Plugin de Código Claude para Contexto de Equipe Persistente
Distillery é um plugin para Claude Code que fornece às equipes contexto compartilhado e persistente entre sessões e pessoas. A versão 0.2.0 adiciona busca híbrida, registro de auditoria de autenticação e suporte a uv.

Especialista em código aberto: o adaptador de despacho delega tarefas complexas para o Claude Code
expert-dispatch é um script bash de aproximadamente 500 linhas que permite que um assistente de IA barato delegue tarefas complexas de programação para o Claude Code CLI. Ele usa comandos como dispatch-cc run para enviar tarefas e mantém diretórios por projeto com CLAUDE.md para contexto persistente.

FixAI: Jogo de Navegador Ensina Direito do Consumidor ao Combater Robôs Corporativos de IA
FixAI é um jogo de navegador com 36 níveis onde os jogadores argumentam contra sistemas de IA corporativos ou governamentais usando leis reais de consumo. Construído com Vanilla JS, Node/Express e Claude Haiku, ele apresenta um sistema de pontuação de resistência e explicações educacionais sobre argumentos legais.

Armazenamento de Memória de IA de Código Aberto para Projetos NodeJS
Mind Palace é um sistema de armazenamento e recuperação de memória de código aberto para NodeJS que persiste informações entre sessões de chat de LLM. Ele suporta os principais LLMs e armazenamentos vetoriais, extraindo e vetorizando automaticamente memórias resumidas das interações.