.
Getty Images
Em resposta à legislação estadual recentemente promulgada em Iowa, os administradores estão removendo livros proibidos das bibliotecas escolares de Mason City e os funcionários estão usando o ChatGPT para ajudá-los a escolher os livros, de acordo com The Gazette e Popular Science.
A nova lei por trás da proibição, assinada pelo governador Kim Reynolds, faz parte de uma onda de reformas educacionais que os legisladores republicanos acreditam ser necessárias para proteger os alunos da exposição a materiais nocivos e obscenos. Especificamente, o Arquivo 496 do Senado determina que todos os livros disponíveis para os alunos nas bibliotecas escolares sejam “adequados à idade” e desprovidos de quaisquer “descrições ou representações visuais de um ato sexual”, de acordo com o Código 702.17 de Iowa.
Mas proibir livros é um trabalho árduo, de acordo com os administradores, então eles precisam confiar na inteligência da máquina para fazer isso dentro da janela de três meses exigida pela lei. “Simplesmente não é viável ler todos os livros e filtrar esses novos requisitos”, disse Bridgette Exman, superintendente assistente do distrito escolar, em comunicado citado pelo The Gazette. “Portanto, estamos usando o que acreditamos ser um processo defensável para identificar os livros que devem ser removidos das coleções no início do ano letivo de 23 a 24.”
O distrito compartilhou sua metodologia: “Listas de livros comumente contestados foram compiladas de várias fontes para criar uma lista principal de livros que devem ser revisados. Os livros nesta lista principal foram filtrados por desafios relacionados a conteúdo sexual. Cada um desses textos foi revisado usando software de IA para determinar se ele contém uma representação de um ato sexual. Com base nesta revisão, há 19 textos que serão removidos de nossas coleções da biblioteca escolar de 7 a 12 anos e armazenados no Centro Administrativo enquanto aguardamos mais orientações ou esclarecimentos. Também faremos com que os professores revisem as coleções da biblioteca em sala de aula.”
Inadequado para esta finalidade
Após o lançamento do ChatGPT, tornou-se cada vez mais comum ver o assistente de IA além de suas capacidades – e ler sobre suas saídas imprecisas sendo aceitas por humanos devido ao viés de automação, que é a tendência de depositar confiança indevida nas decisões da máquina. fazendo. Nesse caso, esse viés é duplamente conveniente para os administradores porque eles podem passar a responsabilidade pelas decisões para o modelo de IA. No entanto, a máquina não está equipada para tomar esse tipo de decisão.
Grandes modelos de linguagem, como aqueles que alimentam o ChatGPT, não são oráculos de sabedoria infinita e fazem referências factuais ruins. Eles são propensos a confabular informações quando não estão em seus dados de treinamento. Mesmo quando os dados estão presentes, seu julgamento não deve servir como um substituto para um ser humano – especialmente em questões de lei, segurança ou saúde pública.
“Este é o exemplo perfeito de um prompt para o ChatGPT, que quase certamente produzirá resultados convincentes, mas totalmente não confiáveis”, disse Simon Willison, um pesquisador de IA que costuma escrever sobre grandes modelos de linguagem, à Ars. “A questão de saber se um livro contém uma descrição da representação de um ato sexual só pode ser respondida com precisão por um modelo que viu o texto completo do livro. Mas OpenAI não nos dirá em que o ChatGPT foi treinado, então nós não tem como saber se viu o conteúdo do livro em questão ou não.”
É altamente improvável que os dados de treinamento do ChatGPT incluam todo o texto de cada livro em questão, embora os dados possam incluir referências a discussões sobre o conteúdo do livro – se o livro for famoso o suficiente – mas também não é uma fonte precisa de informações.
“Podemos adivinhar como ele pode responder à pergunta, com base nas faixas da Internet que o ChatGPT viu”, disse Willison. “Mas essa falta de transparência nos deixa trabalhando no escuro. Poderia ser confundido por fanfics da Internet relacionadas aos personagens do livro? Que tal críticas enganosas escritas online por pessoas com rancor contra o autor?”
De fato, o ChatGPT provou ser inadequado para esta tarefa, mesmo através de testes superficiais feitos por outros. Ao questionar o ChatGPT sobre os livros na lista de possíveis banimentos, a Popular Science encontrou resultados desiguais e alguns que aparentemente não correspondiam às proibições impostas.
Mesmo que os funcionários alimentassem hipoteticamente o texto de cada livro na versão do ChatGPT com a janela de contexto mais longa, o modelo de token de 32K (tokens são pedaços de palavras), provavelmente não seria capaz de considerar o texto inteiro da maioria dos livros em uma vez, embora possa processá-lo em partes. Mesmo que existisse, não se deve confiar no resultado como confiável sem verificá-lo – o que exigiria que um humano lesse o livro de qualquer maneira.
“Há algo de irônico no fato de as pessoas encarregadas da educação não saberem o suficiente para determinar criticamente quais livros são bons ou ruins para incluir no currículo, apenas para terceirizar a decisão para um sistema que não consegue entender os livros e não consegue pensar criticamente. ” A Dra. Margaret Mitchell, cientista chefe de ética da Hugging Face, disse a Ars.
.
