Rafael NazarA Nvidia colocou o rack Groq 3 LPX em produção e pretende deixá-lo operacional ainda este ano na neocloud Nebius. A tecnologia passou a fazer parte da empresa após a compra de ativos da Groq por US$ 20 bilhões, cerca de R$ 103 bilhões, no maior negócio já realizado pela Nvidia.
O foco dos chips é a inferência de baixa latência, que reduz o intervalo entre o pedido do usuário e a resposta de um sistema de inteligência artificial. Esse desempenho é especialmente relevante em aplicações de programação, nas quais atrasos podem ser percebidos rapidamente.
A estratégia da Nvidia é combinar as tecnologias. Os chips da Groq serão direcionados a tarefas que exigem baixa latência, enquanto as GPUs continuarão voltadas a cargas de trabalho mais amplas.
Chips serão instalados ao lado de processadores e GPUs
Na Nebius, os racks Groq 3 LPX serão instalados junto dos processadores Vera e das GPUs Rubin. Segundo Dion Harris, diretor sênior da Nvidia, os equipamentos estarão disponíveis ainda este ano.
A arquitetura da Groq inclui 500 MB de memória SRAM de alta velocidade diretamente no chip. A proposta é reduzir os gargalos provocados pelo acesso à memória durante a execução dos modelos de inteligência artificial.
Cada rack reúne 256 chips Groq 3. De acordo com a Nvidia, o sistema alcança 3.400 tokens por segundo, resultado baseado em um benchmark da Artificial Analysis.
GPUs continuarão sendo usadas
A tecnologia da Groq tem uma função mais específica e se concentra principalmente na etapa de “decode” da inferência, responsável pela geração dos tokens que formam a resposta de um modelo.
As GPUs continuam sendo utilizadas em treinamento e inferência, além de oferecerem maior flexibilidade para acompanhar diferentes modelos e tecnologias. Para Dion Harris, uma tecnologia não precisa substituir a outra.
“Isso não significa substituir as GPUs. Trata-se de usar o preço certo e o processador certo para a parte certa da carga de trabalho”, afirmou o diretor sênior da Nvidia à CNBC.
Com essa divisão, a Nvidia reservou um quarto do espaço de seus data centers destinado a aplicações de programação para os chips da Groq. O restante será ocupado pelo Vera Rubin.
Em março, durante a apresentação dos sistemas Vera Rubin e Groq 3 LPX, o CEO da Nvidia, Jensen Huang, afirmou que reservaria um quarto do espaço de data centers voltado à programação para os chips da Groq. “O restante do meu data center é 100% Vera Rubin”, disse na ocasião.
Disputa por respostas mais rápidas
A Nvidia disputa o mercado de inferência de baixa latência com outras empresas que também buscam acelerar a geração de respostas por inteligência artificial.
A AMD anunciou que pretende integrar seus sistemas em escala de rack a chips da Cerebras, empresa que abriu capital recentemente. A OpenAI também participa da disputa com o modo Ultrafast, que promete alcançar 750 tokens por segundo e é “alimentado pela Cerebras”.
Enquanto amplia os envios dos sistemas Vera Rubin, cuja produção começou anteriormente, a Nvidia passa a contar com uma alternativa específica para acelerar uma etapa da inferência. As GPUs continuam como base de seus sistemas, enquanto os racks da Groq assumem tarefas nas quais o tempo de resposta é decisivo.
