ChatGPT não é um grande avanço, é um negócio caro com o diabo | John Naughton

Sàs vezes, aqueles que querem esquecer a história estão condenados a repeti-la. Para aqueles de nós com memórias longas, o alarido atual – ou melhor, histeria – em torno do ChatGPT (e “IA generativa” em geral) toca um sino.

Já estivemos aqui antes: em janeiro de 1966, para ser mais preciso. Foi nesse momento que Joseph Weizenbaum, cientista da computação do MIT, revelou o Eliza, que teria sido chamado de primeiro chatbot do mundo se esse termo existisse na época. Weizenbaum escreveu o software (em uma linguagem de programação curiosamente chamada MAD-SLIP) para demonstrar que as comunicações entre humanos e computadores eram inevitavelmente superficiais. Ele fez isso fornecendo uma caixa de texto na qual era possível trocar comunicações digitadas com a máquina. Dentro do programa havia um roteiro (batizado de DOCTOR por Weizenbaum) que parodiava as trocas que um paciente poderia ter com um psicoterapeuta que praticava a terapia centrada na pessoa, pioneira de Carl Rogers. (O nome do programa veio de Eliza Doolittle, a moça cockney que foi ensinada a “falar corretamente” na peça de Shaw Pigmalião.)

A maneira como funciona é que o programa recebe o que você digitou e o processa para produzir uma resposta. Suponha que você digite (como acabei de fazer): “Estou um pouco deprimido com a política do Reino Unido”. Eliza: “Você acha que vir aqui vai te ajudar a não ficar deprimida?” Eu: “Espero que sim.” Eliza: “Você diz que espera por algum motivo especial?” Você entendeu – mas pode tentar por si mesmo: basta acessar masswerk.at/elizabot/.

Weizenbaum escreveu o programa para mostrar que, embora as máquinas pudessem aparentemente copiar o comportamento humano, na verdade era como um mágico tirando um coelho da cartola: uma ilusão. E uma vez que você sabe como o truque foi feito, pensou Weizenbaum, deixou de ser uma ilusão. Não havia nada de secreto sobre Eliza: se você lesse o código, poderia entender como ele funcionava. O que surpreendeu seu criador foi que, mesmo que as pessoas soubessem que era apenas um programa, elas pareciam levá-lo a sério. Há uma história famosa sobre sua secretária pedindo-lhe para sair da sala enquanto ela tinha sua “conversa” com Eliza. Pessoas estavam totalmente fascinado por ele. (Eu mesmo vi isso quando uma vez o executei em um PC no open day da minha universidade e tive que tirar as pessoas da máquina para que outras na fila pudessem tentar.)

Após a publicação do artigo de Weizenbaum sobre Eliza, não demorou muito para algumas pessoas (incluindo alguns psiquiatras praticantes) começarem a dizer que, se uma máquina podia fazer esse tipo de coisa, quem precisava de psicoterapeutas? Weizenbaum ficou tão chocado com isso quanto os educadores e artistas de hoje ficam com a escravidão contemporânea sobre as ferramentas da IA ​​generativa. Para ele, como disse um comentarista perspicaz, “havia algo no relacionamento entre uma pessoa e seu terapeuta que era fundamentalmente sobre um encontro entre dois seres humanos. Em linguagem que às vezes lembrava a formulação ‘eu e tu’ de Martin Buber, Weizenbaum permaneceu fixado na importância da interação entre os seres humanos.” Nesse sentido, ele não foi apenas um distinto cientista da computação, mas também um notável humanista.

Essa indignação humanística alimentou sua oposição ao longo da vida ao determinismo tecnológico da “intelligensia artificial”. E informou seu livro de 1976, Poder do Computador e Razão Humanaque confirmou seu papel como um espinho no lado da multidão AI e classifica com Norbert Wiener’s O Uso Humano de Seres Humanos ao expor as reservas de um insider tecnológico sobre a direção da viagem da humanidade em direção à “automação de tudo”.

O eco intrigante de Eliza ao pensar sobre o ChatGPT é que as pessoas o consideram mágico mesmo sabendo como funciona – como um “papagaio estocástico” (nas palavras de Timnit Gebru, um conhecido pesquisador) ou como uma máquina para “ plágio de alta tecnologia” (Noam Chomsky). Mas, na verdade, ainda não sabemos a metade – não o CO₂ as emissões incorridas no treinamento de seu modelo de linguagem subjacente ou a pegada de carbono de todas as interações que as pessoas estão tendo com ele. Ou, ritmo Chomsky, que a tecnologia só existe por causa de sua apropriação não autorizada do trabalho criativo de milhões de pessoas que por acaso estão na web? Qual é o modelo de negócios por trás dessas ferramentas? E assim por diante. Resposta: não sabemos.

Em uma de suas palestras, Weizenbaum apontou que estamos incessantemente fazendo barganhas faustianas com essa tecnologia. Em tais contratos, ambos os lados ganham algo: o diabo fica com a alma humana; os humanos recebem os serviços que nos encantam. Às vezes, o trade-off funciona para nós, mas com essas coisas, se eventualmente decidirmos que não, será tarde demais. Esta é a barganha que a IA generativa agora coloca na mesa. Estamos prontos para isso?

O que eu tenho lido

auto-estima
O New York Times’ A obsessão consigo mesma é uma extorsão político coluna de Jack Shafer.

Visões do inferno
Ken Burns on His Most Important Film é uma entrevista de Baris Weiss no site da Free Press sobre as atitudes americanas em relação ao Holocausto.

regras de monopólio
Compreender o caso antitruste contra o Google é uma boa explicação de Matt Stoller no Substack sobre um assunto realmente intrincado.