Expandindo seu impulso para hardware personalizado, disse a empresa na terça-feira. A AWS diz que seu novo Annapurna ASIC permitirá que mova dados mais rapidamente em sua enorme rede de data center.
O distinto engenheiro de chips da AWS, James Hamilton, mostra um ASIC personalizado criado pela Amazon para alimentar seu equipamento de rede.
“Estamos no negócio de semicondutores!” disse James Hamilton, VP e Distinto Engenheiro da Amazon Web Services, durante uma palestra na noite passada na conferência AWS Re: Invent em Las Vegas. “Achamos que isso é realmente um grande negócio.”
A Amazon revelou o novo chip em uma apresentação mostrando o crescimento de sua rede de fibra e infraestrutura de dados, impulsionando o crescimento de sua enorme operação em nuvem AWS, que agora gera mais de US $ 10 bilhões em receita anual.
Hamilton também forneceu uma visão geral da estratégia de implantação de data center da Amazon, bem como um vislumbre de unidades de armazenamento e servidores em nuvem personalizados da AWS de geração recente.
A ascensão dos chips personalizados para cargas de trabalho em hiperescala
O novo chip de rede será um semicondutor personalizado conhecido como ASIC (Circuito Integrado Específico de Aplicativo), que pode ser adaptado para tarefas como gerenciamento de rede. Isso reflete uma tendência dos data centers em hiperescala de ir além das CPUs e se voltar para chips especializados, como ASICs, FPGAs (Field Programmable Gating Arrays) e GPUs.
A Microsoft está usando FPGAs para acelerar seus servidores em nuvem, enquanto o Google desenvolveu um ASIC personalizado para processamento de dados de inteligência artificial, enquanto o Facebook optou por um servidor de aprendizado de máquina baseado em GPU.
A Amazon tem sido historicamente mesquinha em divulgar detalhes sobre sua infraestrutura. Mas a arena da computação em nuvem está se tornando mais competitiva, com Google, Microsoft e Oracle adicionando data centers de forma agressiva em uma tentativa de ganhar terreno na líder de mercado AWS. Com mais clientes fazendo comparações para plataformas de nuvem, a Amazon tem interesse em afirmar as vantagens competitivas da AWS.
O local preferido da empresa para isso é o re: Invent, a conferência de clientes que atraiu 32.000 participantes este ano, com espaço para eventos em três hotéis na Las Vegas Strip.
Rede privada impulsiona o crescimento da AWS
Hamilton não decepcionou. O tecnólogo veterano é uma espécie de estrela do rock entre os geeks de infraestrutura, com um longo histórico de inovação na Microsoft e na AWS. Sua crítica de 2010 ao hardware de rede ( “Redes de datacenter estão em meu caminho” ) gerou um ímpeto para a interrupção na rede de data centers.
Na noite de terça-feira, Hamilton subiu ao palco do Re: Invent para compartilhar os detalhes da rede com a qual ele sempre sonhou. Ele confirmou que a Amazon construiu uma rede privada global para gerenciar o fluxo de dados entre seus data centers e zonas de disponibilidade, fornecendo aos clientes confiabilidade excepcional, bem como opções de failover para aplicativos.
Construir uma rede privada é “muito, muito caro”, disse Hamilton. “Mas é a coisa certa a fazer. Se você tiver um pacote, quanto mais pessoas tocarem nele, menor será a probabilidade de ele ser entregue. Sempre temos ativos (de rede) para sobreviver a uma falha de link. ”
A rede da Amazon abrange tudo, desde conectividade de fibra densa entre seus data centers (que são agrupados em clusters regionais e zonas de disponibilidade) até fibra de longa distância e até cabos submarinos.
Amazon Web Services organiza sua infraestrutura de nuvem em regiões, cada uma contendo um cluster de data centers. Cada região contém várias zonas de disponibilidade, oferecendo aos clientes a opção de espelhar ou fazer backup dos principais ativos de TI para evitar tempo de inatividade.
Para ilustrar a amplitude e densidade da rede da Amazon, Hamilton forneceu uma visão geral da fibra que conecta uma região amazônica com cinco zonas de disponibilidade. Ele não nomeou a região, mas é claramente a região US-East no norte da Virgínia , que é a única região da AWS que tem cinco AZs. Uma grande parte da infraestrutura da AWS está concentrada nos condados de Loudoun e Prince William, onde a empresa tem pelo menos 25 data centers e está se expandindo rapidamente.
Cada região é suportada por dois centros de trânsito – centros de dados que se conectam à fibra global da Amazon e fornecem interconexões com outras redes e fornecem conexões de 100 Gbps para as outras instalações na região.
“Estamos executando muitas fibras redundantes entre esses prédios”, disse Hamilton.
Quanta fibra? Um total de 3.456 fibras percorrem um conduíte de duas polegadas cobrindo a região, com um total de 242.374 fios de fibra percorrendo o US-East. A AWS presta muita atenção ao gerenciamento de cabos dentro desses conduítes, permitindo-lhe incluir mais capacidade em cada conduíte e identificar e reparar rapidamente os problemas de cabeamento. “Isso nos economizou muito dinheiro, porque temos muita fibra”, disse ele.
A rede de fibra privada da Amazon conecta suas 14 regiões ao redor do globo, que inclui regiões dos EUA em Ohio, Oregon e norte da Califórnia, bem como na Virgínia. A AWS planeja adicionar mais quatro regiões no próximo ano, à medida que continua seu crescimento global. Não anunciou os locais para as novas regiões, mas a Reuters informou na quarta-feira que a AWS está em negociações com uma concessionária italiana sobre a conversão de várias usinas de energia em centros de dados.
Uma área clara de foco de investimento é a Ásia. É por isso que a Amazon é parceira do projeto de cabo submarino transpacífico Hawaiki, que fornecerá conectividade adicional entre a Austrália e a Nova Zelândia e os Estados Unidos, passando pelo Havaí até uma estação de pouso na costa do Oregon. O cabo tem 14.000 quilômetros de comprimento e atinge uma profundidade de 6.000 metros, ou cerca de três milhas abaixo do nível do mar.
Engrenagem personalizada aumenta o controle e a eficiência
A Amazon vem construindo seu próprio hardware de rede há anos. “Executamos nossos próprios roteadores personalizados”, disse Hamilton. “É construído de acordo com nossas especificações. Tão grande quanto o ganho de custo é – e é muito grande – o maior ganho está na confiabilidade.
“Nosso equipamento de rede tem um requisito: o nosso”, continuou Hamilton. “Por mais divertido que fosse adicionar muitos recursos, seria menos confiável. Então, nós simplesmente não fazemos isso. ”
O equipamento de rede da Amazon usa atualmente um Tomahawk Ethernet ASIC do fornecedor de rede Broadcom, que oferece suporte a 128 portas de Ethernet de 25 Gbps. Mas há mais inovação por vir.
O Annapurna ASIC personalizado da Amazon fornecerá “rede aprimorada de segunda geração”, permitindo que a AWS aumente o desempenho e a eficiência controlando seu silício de rede, hardware e software.
Hamilton disse que a Amazon também se beneficiou com a mudança para um esquema de rede de 25 Gbps, que surgiu como uma alternativa ao equipamento padrão IEEE 10G e 40G.
“Pegamos 25G mais cedo”, disse Hamilton. “Amamos onde estamos agora. Estamos confiantes de que 25G é a onda certa. Compramos hardware suficiente para que isso não tenha importância. Os fornecedores estão sempre dispostos a trabalhar conosco.”
Servidores elegantes geram economia de energia
Hamilton também ofereceu ao re: Invent crowd uma olhada em alguns equipamentos recentes (embora não atuais) da Amazon. Isso incluiu um rack de armazenamento de 42U com 1.110 discos, que somam 8,8 petabytes de armazenamento. A desvantagem: o rack pesa 2.778 libras. Tenha cuidado ao rolar aquele pelo data hall!
A apresentação também incluiu uma olhada em um projeto de servidor Amazon 1U recém-aposentado, que era excepcionalmente espaçoso dentro do chassi, fornecendo espaço extra para fluxo de ar e refrigeração:
“Este é um design vencedor”, disse ele. “Mas é um design muito diferente do que está disponível na maioria dos fornecedores.”
Hamilton disse que a AWS gosta de uma abordagem simples que troca densidade de componentes por eficiência de energia e a capacidade de operar em ambientes mais quentes, o que permite aos provedores de data center economizar dinheiro em refrigeração. No nível do servidor, pequenos ganhos em eficiência de energia se somam à medida que se propagam pela enorme pegada da AWS para criar economias significativas. A empresa opera entre 50.000 e 80.000 servidores em cada data center, disse ele, com várias zonas de disponibilidade abrangendo mais de 300.000 servidores.
Sobre o design de data center, Hamilton disse que a AWS está construindo data centers um pouco maiores. A empresa tradicionalmente constrói novas instalações com 25 a 30 megawatts de capacidade de energia, mas agora tem como meta novas construções para 32 megawatts.
“Poderíamos construir facilmente centros de dados de 250 megawatts”, disse Hamilton. “À medida que você cresce, os ganhos (de economias de escala) são relativamente pequenos.
“Trata-se do tamanho certo da instalação”, acrescentou ele, observando a importância de limitar o tamanho de seus domínios de falha. “Custa-nos um pouco mais, mas pensamos que é a coisa certa para os nossos clientes.”
