.
Os pesquisadores costumam usar simulações ao projetar novos algoritmos, pois testar ideias no mundo real pode ser caro e arriscado. Mas como é impossível capturar todos os detalhes de um sistema complexo em uma simulação, eles geralmente coletam uma pequena quantidade de dados reais que reproduzem enquanto simulam os componentes que desejam estudar.
Conhecido como simulação orientada por rastreamento (os pequenos pedaços de dados reais são chamados de rastreamentos), esse método às vezes resulta em resultados tendenciosos. Isso significa que os pesquisadores podem, sem saber, escolher um algoritmo que não seja o melhor que avaliaram e que terá um desempenho pior em dados reais do que a simulação previu que deveria.
Pesquisadores do MIT desenvolveram um novo método que elimina essa fonte de viés na simulação baseada em rastreamento. Ao permitir simulações imparciais orientadas por rastreamento, a nova técnica pode ajudar os pesquisadores a projetar algoritmos melhores para uma variedade de aplicações, incluindo melhorar a qualidade do vídeo na Internet e aumentar o desempenho dos sistemas de processamento de dados.
O algoritmo de aprendizado de máquina dos pesquisadores baseia-se nos princípios da causalidade para aprender como os traços de dados foram afetados pelo comportamento do sistema. Dessa forma, eles podem reproduzir a versão correta e imparcial do traço durante a simulação.
Quando comparado a um simulador baseado em rastreamento desenvolvido anteriormente, o método de simulação dos pesquisadores previu corretamente qual algoritmo recém-projetado seria melhor para streaming de vídeo – ou seja, aquele que levasse a menos rebuffering e maior qualidade visual. Os simuladores existentes que não consideram o viés teriam apontado aos pesquisadores um algoritmo de pior desempenho.
“Os dados não são a única coisa que importa. A história por trás de como os dados são gerados e coletados também é importante. você realmente deseja simular”, diz Arash Nasr-Esfahany, estudante de pós-graduação em engenharia elétrica e ciência da computação (EECS) e coautor de um artigo sobre essa nova técnica.
Ele é acompanhado no artigo pelos co-autores principais e colegas estudantes de pós-graduação da EECS, Abdullah Alomar e Pouya Hamadanian; aluno recém-formado Anish Agarwal PhD ’21; e os autores seniores Mohammad Alizadeh, professor associado de engenharia elétrica e ciência da computação; e Devavrat Shah, professor de Andrew e Erna Viterbi na EECS e membro do Instituto de Dados, Sistemas e Sociedade e do Laboratório de Sistemas de Informação e Decisão. A pesquisa foi recentemente apresentada no USENIX Symposium on Networked Systems Design and Implementation.
Simulações enganosas
Os pesquisadores do MIT estudaram a simulação baseada em rastreamento no contexto de aplicativos de streaming de vídeo.
No streaming de vídeo, um algoritmo de taxa de bits adaptável decide continuamente a qualidade do vídeo, ou taxa de bits, a ser transferida para um dispositivo com base em dados em tempo real na largura de banda do usuário. Para testar como diferentes algoritmos adaptativos de taxa de bits afetam o desempenho da rede, os pesquisadores podem coletar dados reais dos usuários durante um fluxo de vídeo para uma simulação baseada em rastreamento.
Eles usam esses rastreamentos para simular o que teria acontecido com o desempenho da rede se a plataforma tivesse usado um algoritmo de taxa de bits adaptável diferente nas mesmas condições subjacentes.
Os pesquisadores tradicionalmente assumem que os dados de rastreamento são exógenos, o que significa que não são afetados por fatores que são alterados durante a simulação. Eles assumiriam que, durante o período em que coletaram os dados de desempenho da rede, as escolhas feitas pelo algoritmo de adaptação da taxa de bits não afetaram esses dados.
Mas isso geralmente é uma suposição falsa que resulta em vieses sobre o comportamento de novos algoritmos, tornando a simulação inválida, explica Alizadeh.
“Reconhecemos, e outros reconheceram, que essa forma de fazer simulação pode induzir a erros. Mas não acho que as pessoas necessariamente soubessem quão significativos esses erros poderiam ser”, diz ele.
Para desenvolver uma solução, Alizadeh e seus colaboradores enquadraram a questão como um problema de inferência causal. Para coletar um traço imparcial, é preciso entender as diferentes causas que afetam os dados observados. Algumas causas são intrínsecas a um sistema, enquanto outras são afetadas pelas ações que estão sendo tomadas.
No exemplo de streaming de vídeo, o desempenho da rede é afetado pelas escolhas feitas pelo algoritmo de adaptação da taxa de bits, mas também é afetado por elementos intrínsecos, como a capacidade da rede.
“Nossa tarefa é separar esses dois efeitos, tentar entender quais aspectos do comportamento que estamos vendo são intrínsecos ao sistema e quanto do que estamos observando é baseado nas ações que foram tomadas. Se pudermos separar esses dois efeitos, então podemos fazer simulações imparciais”, diz ele.
Aprendendo com os dados
Mas os pesquisadores muitas vezes não podem observar diretamente as propriedades intrínsecas. É aqui que entra a nova ferramenta, chamada CausalSim. O algoritmo pode aprender as características subjacentes de um sistema usando apenas os dados de rastreamento.
O CausalSim pega os dados de rastreamento que foram coletados por meio de um teste de controle aleatório e estima as funções subjacentes que produziram esses dados. O modelo informa aos pesquisadores, exatamente nas mesmas condições subjacentes que um usuário experimentou, como um novo algoritmo mudaria o resultado.
Usando um simulador típico orientado a rastreamento, o viés pode levar um pesquisador a selecionar um algoritmo de pior desempenho, mesmo que a simulação indique que deveria ser melhor. O CausalSim ajuda os pesquisadores a selecionar o melhor algoritmo que foi testado.
Os pesquisadores do MIT observaram isso na prática. Quando eles usaram o CausalSim para projetar um algoritmo de adaptação de taxa de bits aprimorado, isso os levou a selecionar uma nova variante que tinha uma taxa de parada quase 1,4 vezes menor do que um algoritmo concorrente bem aceito, enquanto alcançava a mesma qualidade de vídeo. A taxa de estol é a quantidade de tempo que um usuário gastou recarregando o vídeo.
Por outro lado, um simulador orientado a rastreamento projetado por especialistas previu o oposto. Ele indicou que esta nova variante deveria causar uma taxa de estol quase 1,3 vezes maior. Os pesquisadores testaram o algoritmo em streaming de vídeo do mundo real e confirmaram que o CausalSim estava correto.
“Os ganhos que estávamos obtendo na nova variante estavam muito próximos da previsão do CausalSim, enquanto o simulador especialista estava muito longe. Isso é realmente emocionante porque este simulador projetado por especialistas tem sido usado em pesquisas na última década. Se o CausalSim pode tão claramente ser melhor do que isso, quem sabe o que podemos fazer com isso?” diz Hamadiano.
Durante um experimento de 10 meses, o CausalSim melhorou consistentemente a precisão da simulação, resultando em algoritmos que cometeram cerca de metade dos erros daqueles projetados usando métodos de linha de base.
No futuro, os pesquisadores querem aplicar o CausalSim a situações em que dados de ensaios de controle aleatório não estejam disponíveis ou em que seja especialmente difícil recuperar a dinâmica causal do sistema. Eles também querem explorar como projetar e monitorar sistemas para torná-los mais receptivos à análise causal.
.
