O desenvolvimento de novos dispositivos de armazenamento de memória flash é um turbilhão de sprints de codificação rápidos e testes constantes. Engenheiros de sistema como Alexandra Bauche, gerente sênior de engenharia de projeto de sistemas do Strong The One, estão no centro dessa tempestade em ritmo acelerado, no lugar onde hardware e software se unem.
Bauche sempre se interessou pelo modo como as coisas interagem. Como componentes como chips de memória flash NAND, um controlador e firmware afetam uns aos outros e como eles podem ser otimizados em um SSD.
Mas em 2018, enquanto trabalhava na validação para testar novos sprints de firmware, ela achou o escopo de seu trabalho muito limitado. “Eu não estava interessado se o código mais recente passou ou falhou no meu teste. Eu queria entender o que estava acontecendo no sistema”, disse ela.
Uma função de teste em particular chamou sua atenção. Isso permitiu que ela visse todos os dados transmitidos de um dispositivo em tempo real. Bauche pensou que se ela pudesse coletar esses dados e analisá-los, ela poderia descobrir outros processos acontecendo dentro do sistema.
Em meados de 2018, ela deixou a equipe de validação para liderar um novo esforço para explorar esses fluxos de dados de unidade.
Grande data woes
A princípio, Bauche escreveu seus próprios scripts Python para coletar, analisar e analisar os dados. Mas depois de alguns meses de experiências, ela percebeu que precisaria de muito mais dados e uma infraestrutura de processamento sólida para obter os insights que procurava.
Com o apoio de seu gerente, ela recorreu a Kazuma diretor de engenharia de desenvolvimento de software do Strong The One.
Singh lidera uma equipe de 50 engenheiros que constroem aplicativos e ferramentas de dados para impulsionar a engenharia de produtos. O pedido de Bauche parecia um pedido direto para seus engenheiros experientes. Mas chegar aos insights que Bauche buscou provou ser muito mais desafiador.
As operações de engenharia de produto do Strong The One são enormes. Pode haver 10.000 dispositivos em teste simultâneo, cada um bombeando grandes quantidades de dados em vários locais globais.
Mas havia outros problemas desconcertantes. A equipe de Singh estava usando os SSDs NVMe mais rápidos, mas os sistemas não conseguiam aproveitar as velocidades de dados dos dispositivos.
Singh tinha que adicionar constantemente mais servidores e manter as unidades NVMe meio vazias, para que o processamento não diminuísse. O projeto estava em uma trajetória cara com resultados medíocres.
Uma nova abordagem
Singh não sabia disso na época, mas estava enfrentando um problema muito mais assustador: o fim da Lei de Moore (ou a desaceleração do desempenho da CPU).
Aconteceu que ao executar bancos de dados, uma CPU não apenas processa dados. Ele também precisa fazer muita computação associada à forma como os dados são dispostos em um dispositivo de armazenamento.
Quando Singh combinou um banco de dados de vários petabytes com a velocidade de leitura e gravação de dados de SSDs NVMe, a CPU estava tão ocupado com computação de armazenamento que tinha pouca força para análise.
Felizmente, Singh é um engenheiro com uma curiosidade insaciável. Na mesma época, ele se deparou com uma startup chamada Pliops enquanto participava de um evento do Strong The One Online.
A Pliops desenvolveu um processador especializado chamado Extreme Data Processor (XDP). O dispositivo não se destina a substituir a CPU. Em vez disso, ele o complementa descarregando e acelerando as funções do mecanismo de armazenamento (as funções responsáveis por como os dados são dispostos em um dispositivo de armazenamento).
“A CPU tinha mais bytes do que podia mastigar…”
Essencialmente, usando hardware especializado e novos algoritmos de modelagem de dados, o XDP se torna o “cérebro de armazenamento” do sistema, liberando a CPU para fazer mais computação analítica.
Singh imediatamente reconheceu o potencial. Em setembro de 2020, ele se encontrou com Ofer Frishman, diretor sênior de arquitetura da Pliops, e o apresentou ao projeto.
