.
A Cerebras, fabricante de chips e sistemas Waferscale AI, diz que seu novo supercomputador Andromeda tem mais núcleos de computação do que o Frontier, o primeiro e único cluster verificado publicamente do mundo a quebrar a barreira do exascale.
No entanto, há um grande problema: o Andromeda não será capaz de executar a ampla gama de trabalhos de computação de alto desempenho possíveis no Frontier do Oak Ridge National Lab, que alcançou um desempenho máximo de 1,1 exaflops no benchmark Linpack padrão mundial da HPC no início deste ano.
O problema é que o HPC “verdadeiro” requer recursos de ponto flutuante de precisão dupla (64 bits). O acoplamento desses CS-2 permite que o Andromeda acerte mais de 1 exaflop de esparsa meia precisão de 16 bits (FP16) e 120 petaflops de densa FP16, dois formatos usados para treinar em redes neurais profundas, segundo o Cerebras.
Revelado hoje no evento Supercomputing 2022 (SC22), o Andromeda é composto por 16 sistemas CS-2, cada um dos quais alimentado por um maciço processador da Cerebras. Chip Wafer-Scale Engine 2 (WSE-2) e conectado pela startup Tecido de interconexão SwarmX.
Com cada chip WSE-2 com 850.000 núcleos de computação, o Andromeda atinge a marca de 13,5 milhões de núcleos, mais do que os 8,7 milhões de núcleos de CPU e GPU da AMD, mantendo o Frontier em execução nas instalações de Oak Ridge do Departamento de Energia dos EUA. A Cerebras fez questão de apontar isso mas há mais na questão do que simples contagem de núcleos.
Está longe de ser uma comparação completa, dadas as diferenças arquitetônicas entre cada tipo de núcleo e os tipos de cargas de trabalho para as quais são otimizados. Considerando que CPUs e GPUs podem lidar com uma gama mais ampla de cargas de trabalho HPC, o chip WSE-2 só suporta FP16 e formatos de precisão única de 32 bits (FP32), o que significa que não ajudará com matemática de precisão dupla de 64 bits (FP64).
Em entrevista com Strong The Oneo CEO da Cerebras, Andrew Feldman, não tinha ilusões de que a Frontier é uma máquina mais poderosa para uma gama mais ampla de aplicações.
“Para trabalho de supercomputador, trabalho de supercomputador tradicional, grandes simulações, análise de trajetória, é uma máquina melhor. É uma máquina maior”, disse Feldman, que anteriormente tentou pastorear uma nova era de CPUs de servidor baseadas em Arm na AMD antes de sair em 2014 para finalmente fundar a Cerebras.
Mas ele disse que a comparação do núcleo entre o Andromeda e o Frontier é relevante porque existem certos problemas no mundo da supercomputação, como o aprendizado profundo, que se beneficiam do maior número possível de núcleos, independentemente do núcleo. E não é pouca coisa conseguir que tantos núcleos funcionem juntos de forma eficaz.
“Nossos núcleos são menores. Nossos núcleos são otimizados para AI. Nossos núcleos não têm precisão dupla de 64 bits. Mas em AI, eles são incomparáveis. E 13 milhões e meio deles é muito, muito difícil. E para fazê-los se comportar como uma única máquina em um único problema, e ser capaz de acessá-los por meio de algumas linhas em um notebook científico, como um Jupyter Notebook, é inédito”, disse ele.
E aqui está a ciência
Esta é uma alegação aparentemente apoiada pelo Laboratório Nacional de Argonne do DOE.
Em declaração fornecida pela Cerebras, Rick Stevens, diretor adjunto do laboratório de Argonne, que tem sido o rosto do muito atrasado supercomputador Auroradisse que o Andromeda alcançou “escala linear quase perfeita” ao treinar o modelo de linguagem grande GPT3-XL no genoma do COVID-19 em um, dois, quatro, oito e 16 nós.
“O escalonamento linear está entre as características mais procuradas de um grande cluster, e o Cerebras Andromeda forneceu 15,87 vezes a taxa de transferência em 16 sistemas CS-2, em comparação com um único CS-2, e uma redução no tempo de treinamento correspondente. Andromeda define um nova barra para o desempenho do acelerador de IA”, disse ele.
Feldman sugeriu que Argonne não conseguiu fazer o mesmo trabalho com seu supercomputador Polaris, que é alimentado por 2.000 GPUs Nvidia A100. Ele disse que isso acontecia porque “as GPUs não conseguiam fazer o trabalho devido às limitações de memória e largura de banda da GPU”. Embora Argonne não tenha dito isso explicitamente, pode estar implícito no trabalho de pesquisa do laboratório detalhando seu trabalho, alegou Feldman.
“Acho que eles estavam sob bastante pressão política. Isso faz com que a Nvidia pareça ruim. E as grandes empresas não gostam de ficar com uma imagem ruim”, acrescentou.
O que permite à Cerebras suportar modelos com trilhões de parâmetros é a tecnologia MemoryX da startup, que, combinada com a malha SwarmX, permite que os modelos sejam executados em clusters de até 192 sistemas CS-2, segundo Feldman.
Embora a Cerebras tenha conquistado uma boa variedade de clientes e feito reivindicações de desempenho impressionantes, ela precisará resistir ao poderio financeiro coletivo da Nvidia, AMD e Intel e sair do outro lado desta economia decadente em que nos encontramos agora. ®
.
