NVIDIA Groq 3 LPX atinge 3.431 tokens/seg em benchmarks de contexto longo

O Groq 3 LPX da NVIDIA, o acelerador de inferência interativa para a plataforma Vera Rubin, publicou seu primeiro benchmark de terceiros: 3.431 tokens de saída por segundo no benchmark de contexto de 100K da Artificial Analysis usando o modelo Gemma 4 31B. Esse resultado visa o nível de serviço de "alta interatividade" — o tipo de capacidade de resposta necessária para sessões agênticas multi-turno, onde o contexto cresce para centenas de milhares de tokens.

Por Que Contexto Longo + Interatividade é Difícil

Cargas de trabalho agênticas são multi-turno: cada turno adiciona saída ao contexto, e turnos posteriores devem reprocessar tudo o que veio antes. Com 100 mil tokens de entrada ou mais, servir a mais de 3.000 tokens por segundo por usuário enquanto gerencia um grande cache KV é um desafio de sistemas. O truque padrão — paralelismo de tensor (TP) — divide a computação entre chips, mas em tamanhos de lote muito pequenos exigidos pela latência interativa, o custo fixo de coordenação (operações coletivas) pode consumir o ganho de velocidade.

O gargalo é a latência do primeiro bit, não a largura de banda. Como o artigo afirma, com tensores pequenos, o tempo de transferência é dominado pela latência (A) em vez da quantidade de dados (N) dividida pela largura de banda (B).

Abordagem do Groq 3 LPX

O Groq 3 LPX resolve isso com planejamento determinístico e agendado por compilador. O compilador pré-agenda quando cada tensor sai e chega, sobrepondo computação e comunicação em granularidade fina. A rede chip-a-chip pré-planejada minimiza a latência do primeiro bit, tornando o TP eficaz mesmo com tamanho de lote 1.

No SPEED-Bench, que mede tarefas agênticas e específicas de código, o Groq 3 LPX atingiu uma mediana de 4.767 tokens de saída por segundo. O sistema também suporta múltiplas configurações de implantação com Vera Rubin NVL72:

• Disagregação prefill-decode
• Disagregação atenção-FFN
• Decodificação especulativa com rascunho externo

Elas podem escalar para modelos com múltiplos trilhões de parâmetros, combinando a interatividade do Groq 3 LPX com o throughput da Vera Rubin para fábricas de IA em grande escala.

Para Quem é Isso

Desenvolvedores que constroem sistemas agênticos que exigem alta interatividade com contexto longo — especialmente aqueles que executam fluxos de trabalho multiagentes em modelos com mais de 2T parâmetros — acharão este benchmark relevante para o planejamento de infraestrutura.