.
A Microsoft diz que uma atualização em um roteador estava por trás de uma grande interrupção de várias horas afetando a Microsoft Wide Area Network (WAN) que tornou o Azure, os aplicativos do Microsoft 365 e a Power Platform inacessíveis para clientes em todo o mundo na semana passada.
A interrupção de várias horas na última quarta-feira afetou Microsoft Teams, Exchange Online, Outlook, SharePoint Online, OneDrive for Business, Microsoft Graph, PowerBi, M365 Admin Portal, Microsoft Intune, Microsoft Defender for Cloud Apps e Microsoft Defender for Identity.
Antes da interrupção, a Microsoft alertou os clientes de que uma atualização planejada poderia causar latência ou tempo limite a partir das 07:05 UTC na quarta-feira, quando os clientes tentassem se conectar aos recursos do Azure nas regiões públicas do Azure, Microsoft 365 e Power BI. Mas quando os trabalhadores na Europa começaram o dia, a atualização causou mais do que problemas de latência e começou a impactar os dispositivos de rede na WAN da Microsoft, que derrubou as conexões entre os serviços nos data centers, bem como as conexões no ExpressRoute, a rede privada da Microsoft para os clientes transferirem dados entre centros de dados.
A Microsoft diz em sua revisão preliminar pós-incidente que a maioria das regiões e serviços se recuperou às 09:00 UTC de quarta-feira, mas não foi totalmente recuperada até 12:43 UTC de 25 de janeiro. A interrupção também afetou os serviços de nuvem do Azure Governamental que dependiam da nuvem pública do Azure, de acordo com a Microsoft.
Além disso: Os melhores serviços de armazenamento em nuvem: os gratuitos valem a pena?
“Determinamos que uma alteração feita na Microsoft Wide Area Network (WAN) afetou a conectividade entre clientes na Internet para o Azure, conectividade entre regiões, bem como conectividade entre locais via ExpressRoute”, diz a Microsoft em seu relatório detectado pela primeira vez pela Bleeping Computador.
“Como parte de uma mudança planejada para atualizar o endereço IP em um roteador WAN, um comando dado ao roteador fez com que ele enviasse mensagens para todos os outros roteadores na WAN, o que resultou em todos eles recalculando suas adjacências e tabelas de encaminhamento. Durante Nesse processo de recálculo, os roteadores não conseguiram encaminhar corretamente os pacotes que os atravessavam. O comando que causou o problema tem comportamentos diferentes em diferentes dispositivos de rede e o comando não foi verificado usando nosso processo de qualificação completo no roteador em que foi executado.”
Os sistemas de monitoramento da Microsoft detectaram problemas de serviço de nome de domínio (DNS) e WAN às 07:12 UTC. Depois de revisar as mudanças recentes, enquanto a recuperação automática estava acontecendo às 08:20 UTC, os engenheiros descobriram o “comando problemático” por trás dos problemas.
Além disso: os gastos com tecnologia aumentarão no próximo ano. E este velho favorito ainda é uma prioridade
“Devido ao impacto da WAN, nossos sistemas automatizados para manter a saúde da WAN foram pausados, incluindo os sistemas para identificar e remover dispositivos não saudáveis e o sistema de engenharia de tráfego para otimizar o fluxo de dados pela rede”, disse a Microsoft.
“Devido à pausa nesses sistemas, alguns caminhos na rede sofreram um aumento na perda de pacotes das 09:35 UTC até que esses sistemas fossem reiniciados manualmente, restaurando a WAN para condições operacionais ideais. Essa recuperação foi concluída às 12:43 UTC.”
A Microsoft diz que agora “bloqueou a execução de comandos altamente impactantes nos dispositivos” para mitigar ocorrências futuras. Agora também exige que toda a execução de comandos nos dispositivos de rede siga as diretrizes de mudança segura.
A Microsoft planeja publicar um relatório final pós-incidente nas próximas duas semanas.
.
