A Nvidia anunciou a produção do rack Groq 3 LPX, com a expectativa de que comece a operar ainda em 2026 na neocloud Nebius. Este movimento faz parte da estratégia da empresa, que adquiriu os ativos da Groq por US$ 20 bilhões, um montante que representa a maior compra já realizada pela Nvidia.
Objetivo: Redução da Latência na Inferência de IA
O Groq 3 LPX tem como foco principal a inferência de baixa latência, essencial para diminuir o tempo entre o pedido do usuário e a resposta de sistemas de inteligência artificial. Essa característica é particularmente importante em aplicações de programação, onde até mesmo pequenos atrasos podem ser percebidos de forma significativa. Segundo Dion Harris, diretor sênior da Nvidia, a abordagem da empresa é combinar diferentes tecnologias, utilizando o Groq para baixa latência e as GPUs para cargas de trabalho mais abrangentes.
Detalhes Técnicos do Groq 3 LPX
Nos data centers da Nebius, os racks do Groq 3 LPX serão instalados ao lado dos processadores Vera e das GPUs Rubin. A arquitetura do Groq inclui 500 MB de memória SRAM de alta velocidade integrada diretamente no chip, o que visa minimizar os gargalos causados pelo acesso à memória durante a execução de modelos de IA. Cada rack possui 256 chips Groq 3 e, conforme a Nvidia, o sistema tem capacidade para processar até 3.400 tokens por segundo, um resultado baseado em testes realizados pela Artificial Analysis.
- Cada rack Groq 3 LPX contém 256 chips Groq 3;
- O sistema processa até 3.400 tokens por segundo;
- Possui 500 MB de SRAM integrada ao chip;
- Foca na inferência de baixa latência;
- A Nvidia adquiriu os ativos da Groq por US$ 20 bilhões.
Integração e não Substituição das GPUs
Os chips Groq desempenham um papel específico no processo de inferência, focando na etapa de “decode”, que é responsável pela geração dos tokens que formam as respostas dos modelos. As GPUs continuam a ser utilizadas para o treinamento e inferência, oferecendo flexibilidade para lidar com diversos modelos e tecnologias. “Isso não significa substituir as GPUs. Trata-se de usar o processador certo para a parte certa da carga de trabalho”, afirmou Dion Harris em entrevista à CNBC. A Nvidia reservou um quarto do espaço em seus data centers dedicados à programação para os chips Groq, enquanto o restante será utilizado para os sistemas Vera Rubin.
A Competição no Mercado de IA
A Nvidia não está sozinha nesta corrida por reduzir a latência em respostas de IA. A AMD também anunciou planos para integrar seus sistemas em escala de rack com chips da Cerebras, empresa que recentemente abriu capital. A OpenAI, por sua vez, lançou sua solução Ultrafast, que promete atingir 750 tokens por segundo, utilizando tecnologia da Cerebras. Enquanto isso, a Nvidia continua a aumentar a produção dos sistemas Vera Rubin, que já havia começado anteriormente. Durante uma apresentação em março, Jensen Huang, CEO da Nvidia, comentou que um quarto do espaço dos data centers voltados para aplicações de programação seria dedicado aos chips Groq, afirmando que “o restante do meu data center é 100% Vera Rubin”. Com a introdução do Groq, a Nvidia se posiciona para oferecer uma alternativa específica que acelera uma etapa crucial da inferência, enquanto as GPUs permanecem como a base de suas operações.
Fonte: Olhar Digital
