.
Os pesquisadores estão desenvolvendo uma maneira de incorporar uma das características mais humanas – a incerteza – em sistemas de aprendizado de máquina.
Erro humano e incerteza são conceitos que muitos sistemas de inteligência artificial não conseguem entender, particularmente em sistemas onde um ser humano fornece feedback para um modelo de aprendizado de máquina. Muitos desses sistemas são programados para assumir que os humanos estão sempre certos e corretos, mas a tomada de decisões no mundo real inclui erros e incertezas ocasionais.
Pesquisadores da Universidade de Cambridge, juntamente com o Alan Turing Institute, Princeton e o Google DeepMind, têm tentado preencher a lacuna entre o comportamento humano e o aprendizado de máquina, para que a incerteza possa ser mais plenamente contabilizada em aplicações de IA em que humanos e máquinas estão trabalhando juntos. Isso pode ajudar a reduzir o risco e melhorar a confiabilidade desses aplicativos, especialmente onde a segurança é crítica, como no diagnóstico médico.
A equipe adaptou um conjunto de dados de classificação de imagem bem conhecido para que os humanos pudessem fornecer feedback e indicar seu nível de incerteza ao rotular uma imagem específica. Os pesquisadores descobriram que o treinamento com rótulos incertos pode melhorar o desempenho desses sistemas ao lidar com feedback incerto, embora os humanos também causem uma queda no desempenho geral desses sistemas híbridos. Seus resultados serão divulgados no Conferência AAAI/ACM sobre Inteligência Artificial, Ética e Sociedade (AIES 2023) Em Montreal.
Os sistemas de aprendizado de máquina ‘Human-in-the-loop’ – um tipo de sistema de IA que permite feedback humano – são frequentemente enquadrados como uma maneira promissora de reduzir riscos em ambientes onde modelos automatizados não podem ser usados para tomar decisões sozinhos. Mas e se os humanos não tiverem certeza?
“A incerteza é central em como os humanos raciocinam sobre o mundo, mas muitos modelos de IA não levam isso em consideração”, disse a primeira autora Katherine Collins, do Departamento de Engenharia de Cambridge. “Muitos desenvolvedores estão trabalhando para lidar com a incerteza do modelo, mas menos trabalho foi feito para lidar com a incerteza do ponto de vista da pessoa”.
Estamos constantemente tomando decisões com base no equilíbrio de probabilidades, muitas vezes sem realmente pensar nisso. Na maioria das vezes — por exemplo, se acenarmos para alguém que se parece com um amigo, mas acaba sendo um completo estranho — não há mal algum se fizermos as coisas erradas. No entanto, em certas aplicações, a incerteza traz riscos reais de segurança.
“Muitos sistemas humanos de IA assumem que os humanos estão sempre certos de suas decisões, o que não é como os humanos funcionam – todos nós cometemos erros”, disse Collins. “Queríamos ver o que acontece quando as pessoas expressam incerteza, o que é especialmente importante em ambientes críticos de segurança, como um clínico trabalhando com um sistema médico de IA”.
“Precisamos de melhores ferramentas para recalibrar esses modelos, para que as pessoas que trabalham com eles tenham o poder de dizer quando estão incertas”, disse o coautor Matthew Barker, que concluiu recentemente seu diploma de MEng no Gonville and Caius College, Cambridge. “Embora as máquinas possam ser treinadas com total confiança, os humanos geralmente não podem fornecer isso, e os modelos de aprendizado de máquina lutam com essa incerteza”.
Para o estudo, os pesquisadores usaram alguns dos conjuntos de dados de aprendizado de máquina de referência: um era para classificação de dígitos, outro para classificar radiografias de tórax e um para classificar imagens de pássaros. Para os dois primeiros conjuntos de dados, os pesquisadores simularam incerteza, mas para o conjunto de dados de pássaros, eles pediram aos participantes humanos que indicassem o quão certos eles estavam das imagens que estavam olhando: se um pássaro era vermelho ou laranja, por exemplo. Esses ‘rótulos suaves’ anotados fornecidos pelos participantes humanos permitiram que os pesquisadores determinassem como a saída final foi alterada. No entanto, eles descobriram que o desempenho degradava rapidamente quando as máquinas eram substituídas por humanos.
“Sabemos por décadas de pesquisa comportamental que os humanos quase nunca têm 100% de certeza, mas é um desafio incorporar isso ao aprendizado de máquina”, disse Barker. “Estamos tentando unir os dois campos, para que o aprendizado de máquina possa começar a lidar com a incerteza humana em que os humanos fazem parte do sistema”.
Os pesquisadores dizem que seus resultados identificaram vários desafios abertos ao incorporar humanos em modelos de aprendizado de máquina. Eles estão lançando seus conjuntos de dados para que mais pesquisas possam ser realizadas e a incerteza possa ser incorporada aos sistemas de aprendizado de máquina.
“Como alguns de nossos colegas colocaram de forma tão brilhante, a incerteza é uma forma de transparência, e isso é extremamente importante”, disse Collins. “Precisamos descobrir quando podemos confiar em um modelo e quando confiar em um ser humano e por quê. Em certas aplicações, estamos analisando uma probabilidade sobre as possibilidades. Especialmente com o surgimento dos chatbots, por exemplo, precisamos de modelos que incorporem melhor a linguagem da possibilidade, que pode levar a uma experiência mais natural e segura.”
“De certa forma, este trabalho levantou mais questões do que respondeu”, disse Barker. “Mas mesmo que os humanos possam ser mal calibrados em sua incerteza, podemos melhorar a confiabilidade e confiabilidade desses sistemas humanos no circuito, levando em consideração o comportamento humano”.
A pesquisa foi apoiada em parte pelo Cambridge Trust, Marshall Commission, Leverhulme Trust, Gates Cambridge Trust e pelo Engineering and Physical Sciences Research Council (EPSRC), parte do UK Research and Innovation (UKRI).
.
