Nossa crescente mudança para o armazenamento em nuvem exigiu que os gigantes da web repensassem os sistemas de arquivos usados para ler e gravar montanhas de dados que são acessados a cada segundo. Um artigo da Ars Technica revela como esses sistemas de arquivos distribuídos (DFS) estão em uso atualmente nos data centers do Google, Yahoo, Microsoft e Amazon. Também explica por que esse novo paradigma na manipulação de arquivos é necessário, bem como as maneiras pelas quais os sistemas diferem dos sistemas de arquivos de desktop tradicionais.
Os bancos de dados que impulsionam produtos como a Pesquisa Google podem incluir arquivos com centenas de megabytes (se não gigabytes) de tamanho, que precisam ser acessíveis a muitos usuários ao mesmo tempo – algo que outros sistemas de arquivos que bloqueiam arquivos para evitar a corrupção são incapazes de fazer.
O empenho de cada empresa para superar esses desafios é surpreendente. O Google desenvolveu seu próprio sistema de arquivos (chamado GFS), projetado para transformar muitos servidores e discos rígidos de baixo custo em armazenamento confiável para as massas de dados que usa. Ao contrário do GFS, cujos segredos o Google guarda em seu peito, as outras soluções estão mais amplamente disponíveis. A solução Dynamo da Amazon foi recentemente disponibilizada para desenvolvedores via Amazon Web Services e, embora tenha muitas semelhanças com o GFS, também é capaz de verificação de consistência baseada em tempo, o que significa que apenas as alterações mais recentes são salvas. O Azure da Microsoft foi projetado para uso em nuvem e usa uma verificação de consistência semelhante à da Amazon, embora seja muito mais rígido sobre como as gravações de dados são aplicadas. Hadoop, originalmente desenvolvido por engenheiros do Yahoo.
