.
À medida que a inteligência artificial (IA) se torna mais poderosa – até mesmo sendo usada em guerras – há uma necessidade urgente de governos, empresas de tecnologia e órgãos internacionais para garantir que ela seja segura. E um ponto em comum na maioria dos acordos sobre segurança de IA é a necessidade de supervisão humana da tecnologia.
Em teoria, os humanos podem operar como salvaguardas contra o uso indevido e potenciais alucinações (onde a IA gera informações incorretas). Isso pode envolver, por exemplo, um humano revisando o conteúdo que a tecnologia gera (seus resultados). No entanto, há desafios inerentes à ideia de humanos agindo como uma verificação eficaz em sistemas de computador, como um crescente corpo de pesquisa e vários exemplos da vida real de uso militar de IA demonstram.
Em todos os esforços até agora para criar regulamentações para IA, muitos já contêm linguagem promovendo a supervisão e o envolvimento humanos. Por exemplo, a lei de IA da UE estipula que sistemas de IA de alto risco – por exemplo, aqueles já em uso que identificam automaticamente pessoas usando tecnologia biométrica, como um scanner de retina – precisam ser verificados e confirmados separadamente por pelo menos dois humanos que possuam a competência, o treinamento e a autoridade necessários.
Na arena militar, a importância da supervisão humana foi reconhecida pelo governo do Reino Unido em sua resposta de fevereiro de 2024 a um relatório parlamentar sobre IA em sistemas de armas. O relatório enfatiza o “controle humano significativo” por meio do fornecimento de treinamento apropriado para os humanos. Ele também enfatiza a noção de responsabilidade humana e diz que a tomada de decisão em ações por, por exemplo, drones aéreos armados, não pode ser transferida para máquinas.
Este princípio tem sido amplamente mantido até agora. Drones militares são atualmente controlados por operadores humanos e sua cadeia de comando, que são responsáveis pelas ações tomadas por uma aeronave armada. No entanto, a IA tem o potencial de tornar os drones e os sistemas de computador que eles usam mais capazes e autônomos.
Isso inclui seus sistemas de aquisição de alvos. Nesses sistemas, o software guiado por IA selecionaria e travaria em combatentes inimigos, permitindo que o humano aprovasse um ataque a eles com armas.
Embora ainda não se pense que esteja disseminada, a guerra em Gaza parece ter demonstrado como essa tecnologia já está sendo usada. A publicação israelense-palestina +972 magazine relatou que descreveu um sistema chamado Lavender sendo usado por Israel. Este é supostamente um sistema de recomendação de alvos baseado em IA, acoplado a outros sistemas automatizados, que rastreia a localização geográfica dos alvos identificados.
Aquisição de alvos
Em 2017, o exército dos EUA concebeu um projeto, chamado Maven, com o objetivo de integrar IA em sistemas de armas. Ao longo dos anos, ele evoluiu para um sistema de aquisição de alvos. Alegadamente, ele aumentou muito a eficiência do processo de recomendação de alvos para plataformas de armas.
Em linha com as recomendações do trabalho acadêmico sobre ética da IA, há um ser humano responsável por supervisionar os resultados dos mecanismos de aquisição de alvos como parte crítica do ciclo de tomada de decisão.
No entanto, o trabalho sobre a psicologia de como os humanos trabalham com computadores levanta questões importantes a serem consideradas. Em um artigo revisado por pares de 2006, a acadêmica americana Mary Cummings resumiu como os humanos podem acabar depositando confiança excessiva em sistemas de máquinas e suas conclusões – um fenômeno conhecido como viés de automação.
Isso tem o potencial de interferir no papel humano de controle da tomada de decisão automatizada, caso os operadores sejam menos propensos a questionar as conclusões de uma máquina.
Força Aérea dos EUA/Sargento Mestre Steve Horton
Em outro estudo publicado em 1992, os pesquisadores Batya Friedman e Peter Kahn argumentaram que o senso de agência moral dos humanos pode ser diminuído ao trabalhar com sistemas de computador, a ponto de eles se considerarem irresponsáveis pelas consequências que surgem. De fato, o artigo explica que as pessoas podem até começar a atribuir um senso de agência aos próprios sistemas de computador.
Dadas essas tendências, seria prudente considerar se depositar confiança excessiva em sistemas de computador, juntamente com o potencial para a erosão do senso de agência moral dos humanos, também poderia afetar os sistemas de aquisição de alvos. Afinal, margens de erro, embora estatisticamente pequenas no papel, assumem uma dimensão assustadora quando consideramos o impacto potencial em vidas humanas.
As várias resoluções, acordos e legislações sobre IA ajudam a fornecer garantias de que os humanos agirão como um importante controle sobre a IA. No entanto, é importante perguntar se, após longos períodos na função, uma desconexão poderia ocorrer, por meio da qual os operadores humanos começam a ver pessoas reais como itens em uma tela.
.
