Com fome de IA? Novo supercomputador contém 16 chips do tamanho de um prato

Na segunda-feira, a Cerebras Systems revelou seu supercomputador Andromeda AI de 13,5 milhões de núcleos para aprendizado profundo, relata a Reuters. De acordo com a Cerebras, o Andromeda oferece mais de 1 exaflop (1 quintilhão de operações por segundo) de poder computacional de IA com meia precisão de 16 bits.

O próprio Andromeda é um aglomerado de 16 computadores Cerebras C-2 interligados. Cada CS-2 contém um chip Wafer Scale Engine (geralmente chamado de “WSE-2”), que é atualmente o maior chip de silício já feito, com cerca de 8,5 polegadas quadradas e embalado com 2,6 trilhões de transistores organizados em 850.000 núcleos.

A Cerebras construiu o Andromeda em um data center em Santa Clara, Califórnia, por US$ 35 milhões. Ele é ajustado para aplicações como grandes modelos de linguagem e já foi usado para trabalhos acadêmicos e comerciais. “O Andromeda oferece dimensionamento quase perfeito por meio de paralelismo de dados simples em modelos de linguagem grandes da classe GPT, incluindo GPT-3, GPT-J e GPT-NeoX”, escreve a Cerebras em um comunicado à imprensa.

A frase “escalonamento quase perfeito” significa que, à medida que o Cerebras adiciona mais unidades de computador CS-2 ao Andromeda, o tempo de treinamento nas redes neurais é reduzido em “proporção quase perfeita”, de acordo com o Cerebras. Normalmente, para escalar um modelo de aprendizado profundo adicionando mais poder de computação usando sistemas baseados em GPU, pode-se ver retornos decrescentes à medida que os custos de hardware aumentam. Além disso, a Cerebras afirma que seu supercomputador pode executar tarefas que os sistemas baseados em GPU não podem:

O trabalho impossível da GPU foi demonstrado por um dos primeiros usuários do Andromeda, que alcançou um dimensionamento quase perfeito no GPT-J em 2,5 bilhões e 25 bilhões de parâmetros com longos comprimentos de sequência – MSL de 10.240. Os usuários tentaram fazer o mesmo trabalho no Polaris, um cluster Nvidia A100 de 2.000, e as GPUs não conseguiram fazer o trabalho devido às limitações de memória e largura de banda da GPU.”

Ainda não se sabe se essas alegações resistem ao escrutínio externo, mas em uma era em que as empresas costumam treinar modelos de aprendizado profundo em clusters cada vez maiores de GPUs Nvidia, a Cerebras parece estar oferecendo uma abordagem alternativa.

Como o Andromeda se compara a outros supercomputadores? Atualmente, o mais rápido do mundo, Frontier, reside no Oak Ridge National Labs e pode executar em 1.103 exaflops em precisão dupla de 64 bits. Esse computador custou US$ 600 milhões para ser construído.

O acesso ao Andromeda já está disponível para uso remoto por vários usuários. Já está sendo utilizado pelo assistente de redação comercial JasperAI e pelo Argonne National Laboratory e pela Universidade de Cambridge para pesquisa.