.
Pesquisadores de ciência da computação demonstraram que uma técnica amplamente usada chamada poda de rede neural pode afetar negativamente o desempenho de modelos de aprendizado profundo, detalhando o que causa esses problemas de desempenho e demonstrando uma técnica para enfrentar o desafio.
Deep learning é um tipo de inteligência artificial que pode ser usada para classificar coisas, como imagens, texto ou som. Por exemplo, ele pode ser usado para identificar indivíduos com base em imagens faciais. No entanto, os modelos de aprendizado profundo geralmente exigem muitos recursos de computação para operar. Isso apresenta desafios quando um modelo de aprendizado profundo é colocado em prática para alguns aplicativos.
Para enfrentar esses desafios, alguns sistemas se envolvem em “poda de rede neural”. Isso efetivamente torna o modelo de aprendizado profundo mais compacto e, portanto, capaz de operar usando menos recursos de computação.
“No entanto, nossa pesquisa mostra que essa poda de rede pode prejudicar a capacidade dos modelos de aprendizado profundo de identificar alguns grupos”, diz Jung-Eun Kim, coautor de um artigo sobre o trabalho e professor assistente de ciência da computação na North Carolina State. Universidade.
“Por exemplo, se um sistema de segurança usa aprendizado profundo para escanear os rostos das pessoas para determinar se elas têm acesso a um prédio, o modelo de aprendizado profundo teria que ser compacto para que possa operar com eficiência. Isso pode funcionar bem na maioria das vezes. o tempo, mas a poda da rede também pode afetar a capacidade do modelo de aprendizado profundo de identificar alguns rostos.”
Em seu novo artigo, os pesquisadores explicam por que a poda de rede pode afetar negativamente o desempenho do modelo na identificação de certos grupos – que a literatura chama de “grupos minoritários” – e demonstram uma nova técnica para enfrentar esses desafios.
Dois fatores explicam como a poda de rede pode prejudicar o desempenho de modelos de aprendizado profundo.
Em termos técnicos, esses dois fatores são: disparidade nas normas de gradiente entre os grupos; e disparidade nas normas hessianas associadas a imprecisões dos dados de um grupo. Em termos práticos, isso significa que os modelos de aprendizado profundo podem se tornar menos precisos no reconhecimento de categorias específicas de imagens, sons ou texto. Especificamente, a poda de rede pode amplificar as deficiências de precisão que já existiam no modelo.
Por exemplo, se um modelo de aprendizado profundo for treinado para reconhecer rostos usando um conjunto de dados que inclui os rostos de 100 pessoas brancas e 60 pessoas asiáticas, ele poderá ser mais preciso no reconhecimento de rostos brancos, mas ainda poderá obter um desempenho adequado para reconhecer rostos asiáticos . Após a poda da rede, é mais provável que o modelo não consiga reconhecer alguns rostos asiáticos.
“A deficiência pode não ter sido perceptível no modelo original, mas porque é amplificada pela poda da rede, a deficiência pode se tornar perceptível”, diz Kim.
“Para mitigar esse problema, demonstramos uma abordagem que usa técnicas matemáticas para equalizar os grupos que o modelo de aprendizado profundo está usando para categorizar amostras de dados”, diz Kim. “Em outras palavras, estamos usando algoritmos para resolver a lacuna de precisão entre os grupos”.
Nos testes, os pesquisadores demonstraram que o uso de sua técnica de mitigação melhorou a imparcialidade de um modelo de aprendizado profundo que havia sido submetido à poda de rede, essencialmente retornando-o aos níveis de precisão pré-poda.
“Acho que o aspecto mais importante deste trabalho é que agora temos uma compreensão mais completa de exatamente como a poda de rede pode influenciar o desempenho de modelos de aprendizado profundo para identificar grupos minoritários, tanto teórica quanto empiricamente”, diz Kim. “Também estamos abertos a trabalhar com parceiros para identificar impactos desconhecidos ou negligenciados de técnicas de redução de modelos, principalmente em aplicativos do mundo real para modelos de aprendizado profundo”.
O artigo, “A poda tem um impacto diferente na precisão do modelo”, será apresentado na 36ª Conferência sobre Sistemas de Processamento de Informações Neurais (NeurIPS 2022), realizada de 28 de novembro a 2 de dezembro. 9 em Nova Orleans. O primeiro autor do artigo é Cuong Tran, da Syracuse University. O artigo foi co-autor de Ferdinando Fioretto, de Siracusa, e de Rakshit Naidu, da Universidade Carnegie Mellon.
O trabalho foi feito com o apoio da National Science Foundation, sob as bolsas SaTC-1945541, SaTC-2133169 e CAREER-2143706; bem como um Google Research Scholar Award e um Amazon Research Award.
.
