Nvidia revela novo tipo de Ethernet para IA, Grace Hopper ‘Superchip’ em plena produção

O CEO da Nvidia, Jensen Huang, oferecendo a palestra de abertura da conferência de tecnologia de computadores Computex, na segunda-feira em Taipei, Taiwan, revelou uma série de novos produtos, incluindo um novo tipo de switch ethernet dedicado a mover grandes volumes de dados para tarefas de inteligência artificial.

“Como introduzimos uma nova Ethernet, compatível com tudo, para transformar cada data center em um data center de IA generativo?” colocou Huang em sua palestra. “Pela primeira vez, estamos trazendo os recursos de computação de alto desempenho para o mercado Ethernet”, disse Huang.

O Spectrum-X, como é conhecida a família de ethernet, é “o primeiro ethernet de alto desempenho do mundo para IA”, de acordo com a Nvidia. Uma característica fundamental da tecnologia é que ela “não descarta pacotes”, disse Gilad Shainer, vice-presidente sênior de redes, em uma coletiva de imprensa.

A primeira iteração do Spectrum-X é o Spectrum-4, disse a Nvidia, que chamou de “o primeiro switch Ethernet de 51 TB/s do mundo construído especificamente para redes AI”. O switch funciona em conjunto com a unidade de processamento de dados BlueField da Nvidia, ou DPU, chips que lidam com a busca e a fila de dados e os transceptores de fibra óptica da Nvidia. O switch pode rotear 128 portas de Ethernet de 400 gigabits ou 64 portas de 800 gigas de ponta a ponta, disse a empresa.

Huang levantou o chip switch ethernet Spectrum-4 prata no palco, observando que é “gigantesco”, consistindo de cem bilhões de transistores em uma matriz de 90 por 90 milímetros construída com a tecnologia de processo “4N” da Taiwan Semiconductor Manufacturing. A peça funciona a 500 watts, disse Huang.

O chip da Nvidia, o switch que o abriga, tem o potencial de mudar o mercado de redes ethernet. A grande maioria do silício do switch é fornecida pela fabricante de chips Broadcom. Esses switches são vendidos para fabricantes de equipamentos de rede Cisco Systems, Arista Networks, Extreme Networks, Juniper Networks e outros. Essas empresas têm expandido seus equipamentos para lidar melhor com o tráfego de IA.

A família Spectrum-X foi criada para atender à bifurcação de data centers em duas formas. Uma é o que ele chamou de “fábricas de IA”, instalações que custam centenas de milhões de dólares para as GPUs mais poderosas, baseadas em NVLink e Infiniband da Nvidia, usadas para treinamento de IA, atendendo a um pequeno número de cargas de trabalho muito grandes.

A outra instalação do data center é a nuvem AI, que é multilocatária, baseada em Ethernet, e lida com centenas e centenas de cargas de trabalho para clientes simultaneamente, e que é focada em coisas como fornecer previsões para consumidores de AI, que serão servido pelo Spectrum-X.

O Spectrum-X, disse VP Shainer, é capaz de “espalhar o tráfego pela rede da melhor maneira”, disse Shainer, usando “um novo mecanismo de controle de congestionamento”, que evita o acúmulo de pacotes que pode acontecer no buffer de memória de roteadores de rede.

“Usamos telemetria avançada para entender as latências na rede para identificar pontos de acesso antes que eles causem qualquer coisa, para mantê-la livre de congestionamentos.”

A Nvidia disse em comentários preparados que “os principais hiperescaladores do mundo estão adotando o NVIDIA Spectrum-X, incluindo inovadores de nuvem líderes do setor”.

A Nvidia está construindo um computador de teste em seus escritórios de Israel, chamado Israel-1, um “supercomputador de IA generativo”, usando servidores Dell PowerEdge XE9680 compostos por GPUs H100 executando dados nos switches Spectrum-4.

Todas as novidades da Computex estão disponíveis na redação da Nvidia.

Além da nova tecnologia ethernet, a palestra de Huang apresentou um novo modelo na série “DGX” de computadores para IA da empresa, o DGX GH200, que a empresa classifica como “uma nova classe de supercomputador de IA de grande memória para modelos gigantes de IA geradora .”

Generative AI refere-se a programas que produzem mais do que uma partitura, ora sendo texto, ora sendo imagens, outros artefatos, como, por exemplo, o bot ChatGPT da OpenAI.

O GH200 é o primeiro sistema a ser fornecido com o que a empresa chama de “superchip”, a placa Grace Hopper, que contém em uma única placa de circuito uma GPU Hopper, e a CPU Grace, uma CPU baseada no conjunto de instruções ARM destinada a competir com CPUs x86 da Intel e Advanced Micro Devices.

A primeira iteração do Grace Hopper, o GH200, está “em plena produção”, disse Huang. A Nvidia disse em um comunicado à imprensa que “hiperescaladores globais e centros de supercomputação na Europa e nos EUA estão entre os vários clientes que terão acesso a sistemas com tecnologia GH200”.

O DGX GH200 combina 256 dos superchips, disse a Nvidia, para atingir 1 exaflops combinados – dez à potência de 18, ou, um bilhão, bilhão de operações de ponto flutuante por segundo – utilizando 144 terabytes de memória compartilhada. O computador é 500 vezes mais rápido que a máquina DGX A100 original lançada em 2020, de acordo com a Nvidia.

A palestra também revelou o MGX, uma arquitetura de referência para os fabricantes de sistemas construírem de forma rápida e econômica mais de 100 variações de servidor. Os primeiros parceiros a usar a especificação são ASRock Rack, ASUS, GIGABYTE, Pegatron, QCT e Supermicro, com QCT e Supermicro a serem os primeiros a comercializar com sistemas, em agosto, disse a Nvidia.

A palestra inteira pode ser vista como um replay no site da Nvidia.