Durante a maior parte das últimas duas décadas, o movimento em direção à utilização da infraestrutura de nuvem pública parecia uma onda inevitável de mão única. O custo para os usuários finais cairia à medida que os provedores continuassem a escalar e uma variedade de serviços cada vez mais refinados permitiria que as startups permanecessem enxutas e se adaptassem rapidamente a picos ou interrupções na demanda.
Durante meus três anos trabalhando tive a chance de conversar com muitas pessoas interessantes que trabalham com diversos microsserviços e contêineres. Eu vi o esforço para construir infraestrutura como código e o apelo de ficar sem servidor. Ao mesmo tempo, conversei com muitas pessoas nas áreas de observabilidade e malhas de serviço, que encontraram um novo negócio para dar suporte à expansão de interconexões que existe em aplicativos modernos.
Recentemente, no entanto, notei uma nova tendência crescendo em paralelo. Sim, a adoção da nuvem pública continua a crescer, com muitas empresas ainda no processo de decidir o que migrar dos servidores locais. Toneladas de pessoas se reúnem todos os dias para compartilhar conhecimento sobre AWS , Azure e Google Cloud.
Ao mesmo tempo, no entanto, um número crescente de organizações também está abrindo espaço para repatriar o trabalho de provedores públicos para nuvens privadas no local e, para o crescente mundo da computação de borda e aprendizado de máquina, voltando para o futuro de realmente possuir e operando seu hardware físico no local.
Uma nuvem para chamar de sua
De acordo com um relatório de 2022 da Bessemer Ventures, houve um aumento significativo na adoção de nuvens privadas virtuais. O relatório sugere que “está ficando mais fácil empacotar produtos SaaS e implantá-los na nuvem privada virtual (VPC) de um cliente. Isso se deve em parte à padronização em torno do Kubernetes como o sistema operacional da nuvem. Isso torna mais fácil para as empresas de SaaS atender a uma ampla gama de clientes que podem preferir manter determinados dados ou aplicativos confidenciais em uma VPC.”
Muitos de nossos clientes que usam o optam por essa abordagem. Construímos e atualizamos a plataforma para compartilhamento de conhecimento e colaboração , mas ela é instalada em um local privado ou no local e as conversas sobre seus clientes de código proprietário estão discutindo permanecer privados no local.
Tom Limoncelli, gerente técnico de produtos da equipe de confiabilidade do site, tem fortes opiniões sobre essa tendência. “Aqui está o que realmente está acontecendo”, ele me escreveu:
a. Executar seu próprio datacenter incentiva práticas ruins devido à falta de governança e outros motivos.
b. A nuvem força/encoraja melhores práticas, como governança rígida, infraestrutura como código e pipelines de CD/CD totalmente automatizados.
c. As pessoas estão construindo nuvens no local, que emulam essas práticas recomendadas porque experimentaram na nuvem.
Outra maneira de dizer isso é… As pessoas não estão voltando para o datacenter; eles estão voltando para as nuvens locais porque os datacenters podem ser frustrantes.
Na visão de Limoncelli, uma abordagem totalmente DIY incentiva práticas ruins. Os proprietários tendem a tratar os servidores mais como animais de estimação do que como gado, adicionando sua própria personalização. Depois de décadas disso, você obtém um datacenter que é apenas uma grande confusão de ideias de configuração ruins, tecnologias incompatíveis e barreiras políticas que impedem que tudo isso seja consertado. A maneira inteligente de migrar para a nuvem privada é ser rigoroso quanto à padronização. Em outras palavras, não, você não pode solicitar uma máquina especial com uma conexão ethernet esquisita porque uma pessoa acha legal.
Os sistemas em nuvem, por outro lado, fornecem uma API para solicitar novas máquinas virtuais em minutos, em vez de um processo de compra manual que levava meses. Eles instalam racks e racks com a mesma configuração de hardware. Eles usam configurações de máquina padronizadas, orientando os usuários para longe de configurações personalizadas. Os custos são contabilizados, o que muitas vezes não acontece nos datacenters. No lado do software, a mudança para a nuvem é uma oportunidade de adotar a automação como um pipeline de CI/CD, afastando as pessoas das implantações manuais.
Os usuários adquirem recursos por meio de uma API, não por ordem de compra. Governança e automação são estabelecidas desde o início. A combinação de acesso a recursos por uma API padronizada e governança aplicada automaticamente resulta em um sistema que é mais fácil de manter e impõe práticas mais modernas.
Os contêineres o libertarão
Como argumenta Nick Chase no The New Stack, o Kubernetes tem sido um facilitador poderoso para empresas que buscam obter mais controle sobre o uso da nuvem. É relativamente agnóstico sobre o hardware real ou virtual que você escolhe empregar porque pode fazer uma variedade de coisas diferentes com o kernel do Linux como base.
O Kubernetes foi projetado para simplificar o gerenciamento de uma grande constelação de aplicativos por um pequeno grupo de pessoas, abstraindo o hardware subjacente. Exceto por uma configuração que limita seu sistema a um recurso escasso, ele oferece um nível de resiliência que os clientes há dez anos buscavam provedores de nuvem pública. Além de permitir que os usuários atualizem os sistemas sem ficar offline, ele também oferece recursos para monitoramento de serviços upstream e downstream, algo que muitas organizações pesadas de microsserviços agora estão recorrendo a provedores de observabilidade terceirizados.
“Os superpoderes do Kubernetes mudam o jogo de maneiras importantes”, escreve Chase. “Se você pode implantar, dimensionar e gerenciar o ciclo de vida do Kubernetes, pode usá-lo para pavimentar infraestruturas de nuvem pública e privada, otimizar custos e despesas gerais de forma agressiva e tratar tudo sob o Kubernetes como uma mercadoria.”
Como meu colega Ryan Donovan apontou durante uma conversa recente, “ser capaz de abstrair a infraestrutura permitiu muitos provedores de nuvem, mas também permitiu que as pessoas tivessem esses contêineres localizados em qualquer lugar — dentro de uma nuvem pública, em um servidor local na Lituânia, ou uma nuvem privada replicada em vários locais.” Só porque sua infraestrutura mudou para a nuvem, não significa que você não se preocupe com a proximidade com os usuários e as vantagens que isso pode oferecer em termos de custo ou latência.
“Se você está iniciando um novo projeto do zero — um novo aplicativo, serviço ou site — sua principal preocupação geralmente não é como operá-lo em escala da Web com alta disponibilidade”, escreve Horstmann. “Portanto, quando se trata de escolher o conjunto certo de tecnologias, o Kubernetes – comumente associado a grandes sistemas distribuídos – pode não estar no seu radar agora. Afinal, isso vem com uma quantidade significativa de despesas gerais.
Apesar de tudo isso, ele vê valor em adotá-lo desde o início. “Quando você está lançando algo novo, seu foco geralmente é mover-se rapidamente e iterar rapidamente com base no feedback inicial. Escalar é algo para mais tarde. K8S é uma ferramenta que, na minha opinião, permite que você faça exatamente isso porque pode acelerar seu ciclo de construção/teste/implantação, permite implantar e instrumentar facilmente diferentes instâncias de seu aplicativo, por exemplo, para testes de divisão, demonstrações de clientes etc. ”
Se você tiver a sorte de encontrar um produto adequado ao mercado e começar a ver um aumento na demanda do cliente, o Kubernetes também se mostra valioso nessa área. “Os problemas que surgem com a escala – tolerância a falhas, balanceamento de carga, modelagem de tráfego – já foram resolvidos”, diz Horstmann. “Em nenhum momento você atingirá aquele momento de ser dominado pelo sucesso; você preparou seu aplicativo para o futuro sem muito esforço extra.”
Este comentário de um fórum da HashiCorp resume bem as vantagens: “Um cluster Kubernetes é um bom exemplo de uma abstração sobre recursos de computação: há muitas implementações hospedadas e autogerenciadas dele em diferentes plataformas, todas oferecendo uma API comum e conjunto comum de capacidades”.
Uma ponte entre nuvens públicas e privadas
O relatório da Bessemer cita outra tendência tecnológica emergente que combina o aumento da adoção da nuvem com dados locais. “As plataformas emergentes de middleware estão tornando mais fácil trazer o poder da nuvem para os dados, onde quer que estejam. Isso aconteceu em setores como serviços financeiros, onde uma onda de infraestrutura de fintech moderna ajudou a construir pontes entre a nuvem e os sistemas bancários legados. Estamos vendo pontes semelhantes sendo construídas em outros grandes setores, como cadeia de suprimentos, logística e saúde, para levar o poder da nuvem a essas fontes de dados locais.”
É importante definir o que queremos dizer com “middleware” aqui. Como aponta a Red Hat, o termo remonta a uma conferência da OTAN de 1968 sobre engenharia de software, na qual se referia ao código que ficava entre o montador/compilador na base da pirâmide e a lógica do aplicativo no topo. No mundo da nuvem híbrida, middleware se refere a uma versão evoluída dessa mesma ideia. Como explica Asanka Abeysiinghe, Chief Tech Evangelist no WSO2 em um blog , isso pode parecer “mega nuvens que fornecem recursos de middleware habilitados para infraestrutura como serviço (IaaS) por meio de APIs, que se tornaram as novas DLLs. Assim, por exemplo, filas de mensagens, armazenamento e políticas de segurança estão abertas para os desenvolvedores consumirem em aplicativos executados no IaaS (Infrastructure-as-a-Service).”
Fora dos grandes provedores de nuvem pública, Abeysinghe vê outras alternativas em alta. “ O Kubernetes aborda a questão do bloqueio da nuvem trazendo um padrão aberto para o mundo nativo da nuvem e habilita recursos básicos de middleware como componentes . Além disso, o Cloud Native Computing Foundation ( CNCF ) traz um rico conjunto de middleware centrado em Kubernetes, e você pode encontrá-los no cenário de tecnologia CNCF . No entanto, se os recursos de middleware fornecidos pelo Kubernetes e pelo CNCF não forem suficientes para o desenvolvimento de seu aplicativo, você pode adicionar recursos personalizados definindo-os em uma definição de recurso personalizada ( CRD ), porque o Kubernetes é construído usando padrões abertos.”
Quando conversei com Abeysinghe para este artigo, ele foi rápido em apontar que não havia dados que indicassem uma tendência de empresas se afastando totalmente da nuvem, longe dela. Ainda há mais pessoas migrando para a nuvem pública do que fora dela. Ele estima que 80% da atividade ainda está focada na mudança tradicional da nuvem local para a nuvem pública, com outros 20% movendo-se na direção oposta. Mas esses 20% são importantes, precisamente porque vão contra a maré predominante que vimos na última década.
Abeysinghe acredita que há uma percepção, especialmente em organizações com muita infraestrutura de hardware herdada, de que agora elas têm muitas máquinas ociosas. Se você é um grande banco com décadas de mainframes à sua disposição, utilizar apenas 5% disso não faz muito sentido. “O Kubernetes permite que você execute uma nuvem privada que utiliza melhor seu hardware local existente.” A tecnologia de estouro de nuvem permite que você mude para recursos de terceiros quando seu hardware local estiver no limite.
Para não ficar de fora do jogo, os provedores de nuvem pública agora oferecem racks de servidores físicos para clientes que têm trabalhos mais eficientes no local ou precisam permanecer internos por motivos de segurança e conformidade. As empresas que antes ajudavam a migrar empresas do hardware local agora oferecem racks de servidor como serviço integrados à sua oferta de nuvem pública, um momento verdadeiramente completo para a evolução da computação.
Trazendo modelos de IA internamente
Uma área em que essa tendência parece particularmente forte é entre empresas focadas em inteligência artificial que trabalham com grandes conjuntos de dados e criaram seus próprios modelos. “A computação de GPU em nuvem grande é muito cara, seja para treinamento ou para inferência”, diz Dylan Fox, fundador e CEO da Assembly AI , uma startup que fornece AI-as-a-service para empresas que buscam recursos de linguagem natural em seus ofertas, mas não quer construir os modelos ou contratar uma equipe interna.
“Fazemos a maior parte do nosso treinamento em instâncias locais. Temos algumas centenas de placas NVIDIA A100 e, recentemente, acabamos de comprar mais algumas centenas que temos para instâncias locais usadas para treinar.” O inverno cripto tem sido uma bênção para este mercado, já que um excesso de GPUs chegou ao mercado secundário e os preços de hardware novo e usado caíram.
Como David Linthcium escreveu no InfoWorld :
As empresas estão procurando outras opções mais econômicas, incluindo provedores de serviços gerenciados e provedores de colocalização (colos), ou até mesmo movendo esses sistemas para a antiga sala de servidores no final do corredor. Este último grupo está retornando às “plataformas próprias” em grande parte por dois motivos.
Primeiro, o custo dos equipamentos tradicionais de computação e armazenamento caiu bastante nos últimos cinco anos. Se você nunca usou nada além de sistemas baseados em nuvem, deixe-me explicar. Costumávamos entrar em salas chamadas datacenters onde podíamos tocar fisicamente em nosso equipamento de computação — equipamento que precisávamos comprar imediatamente antes de podermos usá-lo. Estou apenas meio brincando.
Quando se trata de alugar versus comprar, muitos estão descobrindo que as abordagens tradicionais, incluindo o ônus de manter seu próprio hardware e software, são realmente muito mais baratas do que as contas cada vez maiores da nuvem.
Em segundo lugar, muitos estão experimentando alguma latência com a nuvem. As lentidões acontecem porque a maioria das empresas consome sistemas baseados em nuvem pela Internet aberta, e o modelo de multilocação significa que você está compartilhando processadores e sistemas de armazenamento com muitos outros ao mesmo tempo. A latência ocasional pode se traduzir em muitos milhares de dólares em receita perdida por ano, dependendo do que você está fazendo com seu sistema específico de IA/ML baseado em nuvem na nuvem.
Não são apenas pequenas startups de IA que desejam processar muitos dados em baixa latência com modelos desenvolvidos internamente. Aqui está uma citação reveladora de Protocol . “A tendência local está crescendo entre grandes varejistas e supermercados que precisam alimentar dados específicos de produtos, distribuição e lojas em grandes modelos de aprendizado de máquina para previsões de estoque, disse Vijay Raghavendra, diretor de tecnologia da SymphonyAI, que trabalha com supermercados Cadeia de Albertsons.
Raghavendra deixou o Walmart em 2020, após sete anos na empresa em cargos de engenharia sênior e tecnologia comercial. “Isso aconteceu depois da minha passagem pelo Walmart. Eles passaram de ter tudo no local para tudo na nuvem quando eu estava lá. E agora acho que há mais equilíbrio onde eles estão investindo novamente em sua infraestrutura híbrida — infraestrutura local combinada com a nuvem”, disse Raghavendra ao Protocol. “Se você tiver a capacidade, pode fazer sentido criar seu próprio [ data center de co-location ] e executar essas cargas de trabalho em seu próprio local, porque os custos de executá-lo na nuvem ficam muito caros em determinada escala.”
Chick-fil-A teve uma experiência semelhante. Em um blog escrito por Brian Chambers, chefe de arquitetura corporativa da empresa, ele observou que, “Ao pesquisar ferramentas e componentes para a plataforma, descobrimos rapidamente que as ofertas existentes eram voltadas para implantações em nuvem ou data center. Os componentes não foram projetados para operar em ambientes com recursos limitados, sem conexões confiáveis com a Internet ou para escalar para milhares de clusters Kubernetes ativos. Mesmo as ferramentas comerciais que funcionavam em escala não tinham modelos de licenciamento que funcionassem além de algumas centenas de clusters. Como resultado, decidimos construir e hospedar muitos dos componentes nós mesmos.”
A solução deles permitiu que uma equipe de DevOps e suporte a dispositivos inteligentes implantassem, construíssem e atualizassem milhares de restaurantes.
Nuvem, com controle
O gasto total com computação em nuvem já é enorme e ainda deve crescer mais de 20% este ano, chegando a meio trilhão de dólares. Mas será um período de crescimento muito mais variado e diferenciado. “A nuvem é a potência que impulsiona as organizações digitais de hoje”, disse Sid Nag , vice-presidente de pesquisa do Gartner. “Os CIOs estão além da era da exuberância irracional da aquisição de serviços em nuvem e estão sendo criteriosos em sua escolha de provedores de nuvem pública para gerar resultados específicos e desejados de negócios e tecnologia em sua jornada de transformação digital.”
Depois de uma década ou mais se afastando dos racks de servidores, as empresas estão descobrindo que pode haver vantagens em executar a infraestrutura local para determinados tipos de computação. Há também, talvez, uma mudança geracional em ação. Os engenheiros que começaram a construir grandes nuvens públicas dentro de grandes empresas de tecnologia veem agora passar a criar startups ou assumir cargos seniores em empresas menores especializadas em um subconjunto de ofertas de nuvem. O que é velho é novo de novo, mas com uma grande variedade de novos sabores e combinações para escolher.
