Visão Comparativa da Inferência Rápida de LLMs pela Anthropic e OpenAI

Anthropic e OpenAI introduziram recentemente recursos de 'modo rápido' para aumentar a velocidade das inferências de seus modelos de linguagem. Esses modos oferecem taxas significativamente melhoradas de tokens por segundo ao interagir com seus modelos de codificação, mas diferem bastante na abordagem e nas capacidades.
Detalhes Principais
O modo rápido da Anthropic oferece até 2,5x mais tokens por segundo, com um aumento de 65 tokens do Opus 4.6 para cerca de 170. Esse aprimoramento é alcançado priorizando inferências com tamanhos de lote pequenos. A compensação aqui envolve pagar mais (seis vezes o custo) por respostas mais rápidas, pois o tamanho reduzido do lote permite um processamento de dados mais rápido, semelhante a um sistema de ônibus que parte imediatamente sem esperar para encher, embora esse modo ainda seja executado no modelo real Opus 4.6.
Por outro lado, a OpenAI apresenta uma abordagem marcadamente diferente, alcançando mais de 1000 tokens por segundo, o que é 15x a taxa anterior de 65 tokens por segundo do GPT-5.3-Codex. Isso é realizado por meio de seu novo modelo, GPT-5.3-Codex-Spark, que foi projetado especificamente para velocidade utilizando chips Cerebras. Esses chips, distinguidos por seu grande tamanho (70 polegadas quadradas em comparação com uma polegada quadrada típica de um chip H100), fornecem computação de latência ultrabaixa ao acomodar modelos inteiros em sua substancial memória interna.
Embora a configuração da OpenAI ofereça a vantagem substancial de velocidade de operar inteiramente na memória com atrasos minimizados no fluxo de dados, ela o faz com um comprometimento na capacidade do modelo. O GPT-5.3-Codex-Spark, apesar de sua eficiência de velocidade, é menos capaz do que sua contraparte padrão, especialmente quando se trata de gerenciar tarefas mais complexas ou chamadas de ferramentas.
Para Quem É
Essa comparação é particularmente relevante para desenvolvedores que otimizam o desempenho de sistemas de IA e avalia aspectos cruciais para aqueles que consideram velocidade versus capacidade.
📖 Leia a fonte completa: HN LLM Tools
👀 See Also

Benchmark de Quantização Qwen 3.6 27B: Q4_K_M Supera Q8_0 em Compensações Práticas
Avaliou o Qwen 3.6 27B nas quantizações GGUF BF16, Q4_K_M e Q8_0 no HumanEval, HellaSwag e BFCL. O Q4_K_M oferece pontuações próximas ao BF16 com 48% menos RAM, 1,45x de velocidade e tamanho de arquivo 68,8% menor.

Desenvolvedor indie implanta site completo de estúdio de jogos via Claude Code, incluindo camada de dados da API Steam
Um desenvolvedor de jogos independente usou o Claude Code para criar e implantar o site de seu estúdio sem tocar em um terminal, incluindo uma camada de dados que obtém informações ao vivo da API da Steam.

MCP-Índia-Stack: Servidor offline-first para dados financeiros indianos em agentes de IA
MCP-India-Stack é um servidor MCP offline-first que fornece funcionalidades de API financeira e governamental indiana sem autenticação ou chamadas de API externas. Ele agrupa conjuntos de dados localmente para cálculos fiscais, ferramentas de validação e consultas.

Gemma 4 26B vs Qwen 3.5 27B: Benchmark de Fluxo de Trabalho Empresarial Local em RTX 4090
Um desenvolvedor testou o Gemma 4 26B e o Qwen 3.5 27B em uma estação de trabalho RTX 4090 para 18 tarefas reais de operador de negócios. O Gemma venceu por 13 a 5, mostrando velocidade mais rápida e melhor disciplina para trabalho de execução diária, enquanto o Qwen se destacou em pensamento estratégico mais amplo.