.
PUBLICITÁRIO A crescente necessidade de modelagem meteorológica mais precisa surge quase diariamente, pois a mudança do clima global prova ser um dos maiores desafios da humanidade.
A modelagem climática complexa tem sido um dos pilares da supercomputação há décadas, mas como os extremos climáticos testam esses modelos, é necessária uma abordagem diferente para atender às demandas de previsões mais rápidas e precisas.
A previsão numérica do tempo (NWP) é usada para melhorar nossa compreensão de como os processos funcionam na atmosfera, massas de terra e nossos oceanos, tanto para tendências de longo prazo quanto para previsões próximas. Melhores resultados não apenas significam que os países podem prever melhor os extremos climáticos para proteger os cidadãos, mas também os ajudam a melhorar os processos agrícolas em preparação para mudanças nas condições. Isso significa que os impactos do clima em nossa produção de alimentos também podem ser reduzidos.
Os principais serviços meteorológicos em todo o mundo desenvolvem e incorporam continuamente novas pesquisas meteorológicas em modelos complexos de previsão operacional – cargas de trabalho de computação intensiva que estão mudando para a nuvem para obter benefícios de escala, custo e flexibilidade.
HPC em nuvem totalmente equipado
À medida que a computação em nuvem amadureceu suas ofertas, a customização diversificada e de valor agregado entrou no mercado.
Grandes provedores de serviços em nuvem, como Amazon Web Services (AWS), lideraram o caminho com ofertas como o serviço Amazon Elastic Compute Cloud (EC2) na nuvem AWS. Por meio do EC2, as organizações de usuários alugam servidores virtuais (ou instâncias de servidor virtual) para executar seus próprios aplicativos, em vez de comprar e possuir sua própria infraestrutura física de TI – geralmente o domínio tradicional das cargas de trabalho de HPC.
Vários tipos de instâncias do Amazon EC2 otimizadas para diferentes configurações de tipo de CPU/GPU, memória, armazenamento e recursos de rede estão disponíveis para corresponder a um requisito específico de TI/carga de trabalho. O pensamento por trás desse modelo é que as organizações de usuários consomem apenas os recursos de TI necessários para um aplicativo ou carga de trabalho específica, minimizando assim o dispendioso superprovisionamento. Recursos adicionais podem ser acessados conforme necessário sob demanda.
Os tipos de instância do Amazon EC2 têm suas próprias designações, Hpc6a, e são criados especificamente para cargas de trabalho de HPC altamente acopladas e com uso intensivo de computação, como modelagem de clima. Eles são alimentados por dois processadores AMD EPYC “Milan” de 3ª geração de 48 núcleos, construídos com tecnologia de 7 nm (para maior eficiência) e suportam 384 GB de memória nos 96 núcleos (ou 4 GB de memória por núcleo).
Impacto do Cloud HPC nas previsões meteorológicas
A frequência de processamento de dados na modelagem meteorológica é fundamental para acelerar o processo de obtenção de resultados que ainda são precisos, ou ainda mais. Normalmente, os modelos são executados duas vezes ao dia devido aos grandes volumes de dados envolvidos. Processar mais dados com mais frequência aproxima as organizações do objetivo de melhorar a precisão e obter inteligência meteorológica quase em tempo real.
As instâncias EC2 Hpc6a são a plataforma perfeita para executar esses modelos. As instâncias EC2 Hpc6a oferecem desempenho de preço até 65% melhor em comparação com instâncias otimizadas para computação com base no Amazon EC2 x-86. Na prática, isso significa que muito mais pode ser feito, em menos tempo e com menor custo.
A chave para o desempenho das instâncias Hpc6a está parcialmente em sua arquitetura de silício com os processadores EPYC da AMD. O design system-on-chip do EPYC não requer nenhum chipset adicional na placa-mãe. Construída em um processo eficiente de 7 nm, a família de processadores EPYC de terceira geração era exatamente o tipo de silício compacto e de alto desempenho que a AWS estava procurando quando desenvolveu instâncias Hpc6a.
O pico de desempenho também se deve em parte ao barramento entre nós do Elastic Fabric Adapter (EFA), que gerencia as comunicações intensivas de dados entre os nós em uma arquitetura HPC. Esse recurso de baixa latência é especialmente importante para os tipos de cargas de trabalho fortemente acopladas com as quais a modelagem de clima lida.
A prova, claro, é como tudo isso se soma em termos de análise científica do mundo real. empresa de dados meteorológicos DTN usou instâncias Hpc6a para dobrar seu desempenho de previsão do tempo (aumentando a frequência de dois para quatro modelos por dia). A DTN utilizou instâncias Hpc6a para processar grandes volumes de dados climáticos integrados com imagens de satélite, mais rapidamente. A empresa precisava de um sistema HPC que pudesse consumir rapidamente uma enxurrada de dados recebidos, usando-os para criar novos modelos em velocidade e escala. Esta foi uma pergunta difícil. A DTN não estava lidando apenas com modelagem de dados atmosféricos, o que já seria bastante difícil. Ele também modela dados oceânicos, que estão intrinsecamente ligados a padrões climáticos.
A nuvem, com sua computação elástica e capacidade de armazenamento, era a rota óbvia enquanto a DTN buscava seu santo graal de modelos meteorológicos por hora. Em 2020, a empresa meteorológica contratou a Amazon para ajudar a construir sua infraestrutura de HPC na nuvem pública. Ele passou os 18 meses seguintes com a equipe da AWS criando uma prova de conceito usando dados de teste coletados durante o furacão Laura (2020). Em 2022, usando instâncias Hpc6a, a DTN aprimorou seus resultados e agora transferiu toda a sua solução de previsão global para a AWS.
Lidando com dados… muitos deles!
As organizações de modelagem meteorológica podem processar petabytes de dados meteorológicos todos os dias. Mas, no caso da DTN, a empresa conseguiu ainda utilizar as ferramentas da AWS. Ele gerenciava o processamento de dados por meio de uma matriz complexa de nós baseados em EPYC usando AWS ParallelCluster. Esta é uma ferramenta de gerenciamento de cluster de software livre destinada a aplicativos HPC. AWS O ParallelCluster 3.5 adicionou uma GUIpermitindo que ele aumente o número de instâncias e também se integre a uma variedade de sistemas operacionais e agendadores, tornando mais fácil para os clientes de HPC migrar ou invadir a nuvem a partir de sistemas locais existentes.
Previsões mais rápidas – a nova norma
Com a AWS e a AMD provando que o HPC em nuvem pode reduzir os tempos de previsão de muitos sistemas existentes, o futuro do NWP parece promissor. Outro grande exemplo foi uma previsão NWP gerada por meio de um cluster HPC na nuvem em cerca de 53 minutos – pouco mais da metade do tempo que os sistemas incumbentes levam para concluir a mesma previsão. O cliente estava mapeando a empresa maxar, que tinha uma meta ambiciosa de reduzir os tempos de previsão em mais da metade. Com isso alcançado usando instâncias Hpc6a, a missão foi cumprida, mas outros ganhos podem ser obtidos – desta vez com AWS ‘ Adaptador de tecido elástico (EFA). Ao usar o EFA, uma interface de rede para instâncias do Amazon EC2, a Maxar reduziu os tempos de previsão de 53 para 42 minutos. Mais testes e otimização com a AWS significaram que a Maxar poderia concluir uma previsão em menos de 30 minutos, eliminando mais barreiras para soluções comerciais.
Prevendo o futuro
A previsão do tempo usando HPC na nuvem com instâncias do Amazon EC2 está atendendo às demandas de um clima em rápida mudança, onde os cientistas devem fornecer previsões cada vez mais precisas de eventos climáticos dramáticos para proteger vidas e meios de subsistência.
Patrocinado pela AWS e AMD.
.
