.
A Samsung construiu um supercomputador inédito contendo GPUs de datacenter da AMD afixadas com seus chips de processamento na memória, que a empresa disse que pode melhorar significativamente o desempenho e a eficiência energética do treinamento de grandes modelos de IA.
O supercomputador, divulgado na terça-feira em um evento do setor na Coréia do Sul, inclui 96 GPUs AMD Instinct MI100, cada uma carregada com um chip de processamento em memória (PIM), um novo tipo de tecnologia de memória que reduz a quantidade de dados que precisa se mover entre a CPU e a DRAM.
Choi Chang-kyu, chefe do AI Research Center no Samsung Electronics Advanced Institute of Technology, supostamente disse que o cluster foi capaz de treinar o modelo de linguagem Text-to-Test Transfer Transformer (T5) desenvolvido pelo Google 2,5 vezes mais rápido, usando 2,7 vezes menos energia em comparação com a mesma configuração de cluster que não usava os chips PIM.
“É o único desse tipo no mundo”, disse Choi.
Samsung disse que sua tecnologia PIM tem grandes implicações no consumo de energia e no meio ambiente, reduzindo o uso anual de energia de um cluster em 2.100 Gigawatts-hora e, consequentemente, reduzindo 960.000 toneladas de emissões de carbono.
Como sempre, devemos reservar o julgamento até que essas alegações possam ser testadas e verificadas de forma independente, mas a empresa disse que essa redução de energia é igual à quantidade de carbono que levaria 16 bilhões de árvores urbanas para absorver ao longo de uma década.
Uma grande razão pela qual o supercomputador alimentado por PIM tem tanta potência é que cada chip PIM usa memória de alta largura de banda (HBM), que a indústria está recorrendo cada vez mais para lidar com computação de alto desempenho e cargas de trabalho de IA. A Nvidia e a AMD usam HBM em GPUs de datacenter há várias gerações, e a Intel planeja introduzir o HBM em uma variante futura de processadores de servidor com a marca Xeon Max e uma GPU de datacenter de ponta.
O que torna os chips Samsung HBM-PIM diferentes das implementações HBM de outras empresas é que cada banco de memória no chip PIM inclui uma unidade de processamento interna. Isso, de acordo com a gigante eletrônica sul-coreana, reduz os gargalos associados à movimentação de dados entre a CPU e a memória, deslocando parte da computação dentro da própria memória.
A Samsung espera estimular a adoção de seus chips PIM na indústria criando um software que permitirá que as organizações usem a tecnologia em um ambiente de software integrado. Para fazer isso, ele está contando com SYCLuma camada de abstração de programação entre arquiteturas isenta de royalties que sustenta a implementação de C++ da Intel para seu modelo de programação paralela oneAPI.
A empresa vem promovendo o PIM há quase três anos, e uma outra maneira pela qual planeja levar a tecnologia ao mercado é por meio do que chamou de AXDIMMabreviação de DIMM acelerado.
Saberemos se a Samsung acabar fazendo alguma incursão se o PIM começar a aparecer em novos supercomputadores criados por laboratórios de pesquisa, instituições acadêmicas e outras organizações nos próximos anos. ®
.
