.
RUmman Chowdhury costuma ter problemas para dormir, mas, para ela, esse não é um problema que precise ser resolvido. Ela tem o que chama de “cérebro das 2 da manhã”, um tipo de cérebro diferente do cérebro do dia-a-dia, e aquele em que ela confia para problemas especialmente urgentes ou difíceis. As ideias, mesmo as de pequena escala, requerem cuidado e atenção, diz ela, junto com uma espécie de intuição alquímica. “É como assar”, diz ela. “Você não pode forçar, não pode aumentar a temperatura, não pode acelerar. Vai demorar o tempo que for preciso. E quando terminar de assar, ele se apresentará.”
Foi o cérebro das 2 da manhã de Chowdhury que primeiro cunhou a expressão “terceirização moral” para um conceito que agora, como uma das principais pensadoras em inteligência artificial, tornou-se um ponto-chave em como ela considera a responsabilidade e a governança quando se trata do impacto potencialmente revolucionário de IA.
A terceirização moral, diz ela, aplica a lógica da sensibilidade e da escolha à IA, permitindo que os tecnólogos realoquem efetivamente a responsabilidade pelos produtos que constroem nos próprios produtos – o avanço técnico torna-se um crescimento predestinado e o viés torna-se intratável.
“Você nunca diria ‘minha torradeira racista’ ou ‘meu laptop sexista’”, disse ela em um Ted Talk de 2018. “E ainda assim usamos esses modificadores em nossa linguagem sobre inteligência artificial. E, ao fazer isso, não assumimos a responsabilidade pelos produtos que construímos.” Excluir-nos da equação produz uma ambivalência sistemática equivalente ao que a filósofa Hannah Arendt chamou de “banalidade do mal” – a ignorância voluntária e cooperativa que possibilitou o Holocausto. “Não se tratava apenas de eleger alguém para o poder com a intenção de matar tantas pessoas”, diz ela. “Mas é que nações inteiras de pessoas também assumiram empregos e cargos e fizeram essas coisas horríveis.”
Chowdhury realmente não tem um título, ela tem dezenas, entre eles o bolsista de IA responsável em Harvard, consultor de política global de IA e ex-chefe da equipe Meta do Twitter (Ética, Transparência e Responsabilidade do Aprendizado de Máquina). A IA tem dado seu cérebro às 2 da manhã há algum tempo. Em 2018, a Forbes a nomeou uma das cinco pessoas “construindo nosso futuro de IA”.
Cientista de dados de profissão, ela sempre trabalhou em um domínio um tanto indefinível e confuso, atravessando os domínios das ciências sociais, direito, filosofia e tecnologia, enquanto presta consultoria a empresas e legisladores na formulação de políticas e melhores práticas. Em torno da IA, sua abordagem à regulamentação é única em sua firme mediania – tanto receptiva ao progresso quanto firme na afirmação de que “mecanismos de responsabilidade” devem existir.
Efervescente, paciente e de fala mansa, Chowdhury ouve com cuidado desarmante. Ela sempre achou as pessoas muito mais interessantes do que aquilo que constroem ou fazem. Antes que o ceticismo em torno da tecnologia se tornasse reflexo, Chowdhury também tinha medo – não da tecnologia em si, mas das corporações que a desenvolveram e venderam.
Como líder global da responsável empresa de IA Accenture, ela liderou a equipe que projetou uma ferramenta de avaliação imparcial que previa e corrigia o viés algorítmico. Ela começou a Parity, uma plataforma ética de consultoria em IA que busca unir “diferentes comunidades de especialização”. No Twitter – antes de se tornar uma das primeiras equipes dissolvidas sob Elon Musk – ela organizou a primeira recompensa de viés algorítmico da empresa, convidando programadores externos e cientistas de dados para avaliar o código do site em busca de possíveis vieses. O exercício revelou uma série de problemas, incluindo que o software de corte de fotos do site parecia preferir rostos que eram jovens, femininos e brancos.
Essa é uma estratégia conhecida como red-teaming, na qual programadores e hackers de fora de uma organização são encorajados a tentar reduzir certas salvaguardas para forçar uma tecnologia a “fazer coisas ruins para identificar de que coisas ruins ela é capaz”, diz Chowdhury. Esses tipos de freios e contrapesos externos raramente são implementados no mundo da tecnologia por causa do medo dos tecnólogos de “pessoas tocando em seus bebês”.
Ela está atualmente trabalhando em outro evento de equipe vermelha para a Def Con – uma convenção organizada pela organização de hackers AI Village. Desta vez, centenas de hackers estão se reunindo para testar o ChatGPT, com a colaboração de seu fundador OpenAI, juntamente com a Microsoft, Google e a administração Biden. O “hackathon” está programado para durar mais de 20 horas, fornecendo a eles um conjunto de dados “totalmente sem precedentes”, diz Chowdhury, que organiza o evento com Sven Cattell, fundador da AI Village e Austin Carson, presidente da AI responsável SeedAI sem fins lucrativos.
Na opinião de Chowdhury, é somente por meio desse tipo de coletivismo que a regulamentação adequada – e a aplicação da regulamentação – pode ocorrer. Além da auditoria terceirizada, ela também atua em vários conselhos na Europa e nos EUA, ajudando a moldar a política de IA. Ela é cautelosa, ela me diz, do instinto de superregular, o que poderia levar os modelos a corrigir demais e não abordar questões arraigadas. Quando questionados sobre o casamento gay, por exemplo, o ChatGPT e outras ferramentas generativas de IA “totalmente se fecham”, tentando compensar a quantidade de pessoas que forçaram os modelos a dizerem coisas negativas. Mas não é fácil, acrescenta ela, definir o que é tóxico e o que é odioso. “É uma jornada que nunca vai acabar”, ela me diz, sorrindo. “Mas estou bem com isso.”
Logo no início, quando começou a trabalhar com tecnologia, ela percebeu que “os tecnólogos nem sempre entendem as pessoas e as pessoas nem sempre entendem a tecnologia”, e procurou preencher essa lacuna. Em sua interpretação mais ampla, ela me conta, seu trabalho lida com a compreensão dos seres humanos por meio de dados. “No cerne da tecnologia está a ideia de que a humanidade é falha e que a tecnologia pode nos salvar”, diz ela, observando uma linguagem como “body hacks” que implica um tipo de otimização exclusivo para esta era específica da tecnologia. Há um aspecto nisso que deseja que fôssemos “divorciados da humanidade”.
Chowdhury sempre foi atraído pelos humanos, sua confusão, nebulosidade e imprevisibilidade. Como estudante de graduação no MIT, ela estudou ciência política e, mais tarde, depois de alguns meses desiludidos em organizações sem fins lucrativos em que ela “sabia que poderíamos usar modelos e dados de forma mais eficaz, mas ninguém sabia”, ela foi para a Columbia para um mestrado graduação em métodos quantitativos.
após a promoção do boletim informativo
No último mês, ela passou uma semana na Espanha ajudando a realizar o lançamento da Lei de Serviços Digitais, outra em San Francisco para uma conferência de segurança cibernética, outra em Boston para sua bolsa e alguns dias em Nova York para mais uma rodada da imprensa Def Con. Depois de um breve período em Houston, onde ela mora, ela tem palestras em Viena e Pittsburgh sobre desinformação nuclear de IA e Duolingo, respectivamente.
Em essência, o que ela prescreve é um ditado relativamente simples: ouvir, comunicar, colaborar. E, no entanto, mesmo quando Sam Altman, fundador e CEO da OpenAI, testemunha perante o Congresso que está comprometido em prevenir os danos da IA, ela ainda vê táticas familiares em jogo. Quando uma indústria passa por um escrutínio intenso, barrar a regulamentação proibitiva geralmente significa assumir o controle de uma narrativa – ou seja, exigir regulamentação, ao mesmo tempo em que gasta milhões em lobby para impedir a aprovação de leis regulatórias.
O problema, diz ela, é a falta de responsabilidade. A análise interna de riscos costuma ser distorcida dentro de uma empresa porque a gestão de riscos nem sempre emprega a moral. “Existe simplesmente o risco e, em seguida, sua disposição de correr esse risco”, ela me diz. Quando o risco de falha ou danos à reputação se torna muito grande, ele se move para uma arena onde as regras são dobradas em uma direção específica. Em outras palavras: “Vamos jogar um jogo em que eu possa ganhar porque tenho todo o dinheiro”.
Mas as pessoas, ao contrário das máquinas, têm prioridades e motivações indefinidas. “Há muito poucos atores fundamentalmente bons ou ruins no mundo”, diz ela. “As pessoas apenas operam em estruturas de incentivo.” O que, por sua vez, significa que a única maneira de conduzir a mudança é fazer uso dessas estruturas, afastando-as de qualquer fonte de poder. Certos problemas só podem ser resolvidos em escala, com cooperação e compromisso de muitos vetores de poder diferentes, e a IA é um deles.
No entanto, ela prontamente atesta que existem limites. Pontos onde o compromisso não é uma opção. A ascensão do capitalismo de vigilância, diz ela, é extremamente preocupante para ela. É um uso da tecnologia que, em sua essência, é inequivocamente racista e, portanto, não deve ser considerado. “Não podemos colocar batom em um porco”, disse ela em uma palestra recente sobre o futuro da IA na Escola de Ciências Sociais da Universidade de Nova York. “Eu não acho que a vigilância ética possa existir.”
Chowdhury escreveu recentemente um artigo de opinião para a Wired no qual detalhou sua visão para um conselho de governança global. Quer se trate de capitalismo de vigilância, interrupção de empregos ou desinformação nuclear, apenas um conselho externo de pessoas pode ser confiável para governar a tecnologia – um composto de pessoas como ela, não vinculado a nenhuma instituição e que seja globalmente representativo. No Twitter, alguns usuários chamaram sua estrutura de idealista, referindo-se a ela como “pensamento de céu azul” ou “inviável”. É engraçado, ela me conta, já que essas pessoas estão “literalmente tentando construir máquinas sencientes”.
Ela está familiarizada com a dissonância. “Faz sentido”, diz ela. Somos atraídos por narrativas de heróis, a suposição de que uma pessoa está e deve estar no comando a qualquer momento. Mesmo quando ela organiza o evento Def Con, ela me conta, as pessoas acham difícil entender que há uma equipe de pessoas trabalhando juntas a cada passo do caminho. “Estamos recebendo toda essa atenção da mídia,” ela diz, “e todo mundo está tipo, ‘Quem está no comando?’ E então nós meio que olhamos uns para os outros e pensamos, ‘Hum. Todos?’”
.
