.
Sesde seu lançamento em novembro passado, o ChatGPT abalou o mundo da educação. O chatbot e outras ferramentas sofisticadas de IA estão sendo usadas em todos os lugares, desde ensaios universitários até projetos de arte do ensino médio. Uma pesquisa recente com 1.000 alunos em universidades de quatro anos pela Intelligent.com descobriu que 30% dos estudantes universitários relataram usar o ChatGPT em tarefas escritas.
Este é um problema para escolas, educadores e alunos – mas uma benção para um grupo pequeno, mas crescente, de empresas no ramo de detecção de IA. Jogadores como Winston AI, Content at Scale e Turnitin estão cobrando por sua capacidade de detectar o envolvimento da IA no trabalho do aluno, oferecendo serviços de assinatura onde os professores podem executar o trabalho de seus alunos por meio de um painel da web e receber uma pontuação de probabilidade que classifica o quão “humano” ou “AI” o texto é.
Nesta fase, a maioria dos clientes são professores agindo por iniciativa própria, embora a Winston AI diga que está iniciando conversas com administradores escolares em nível distrital à medida que o problema cresce. E com apenas um semestre acadêmico completo desde que o ChatGPT foi lançado, as interrupções e dores de cabeça estão apenas começando.
Os métodos para detectar conteúdo gerado por IA geralmente envolvem a busca por um “tell” – um recurso que distingue um autor de IA de um humano. De acordo com o guia do MIT Technology Review, no conteúdo de IA “a palavra ‘the’ pode ocorrer muitas vezes”. O texto também pode ter uma espécie de antiestilo, indicando falta de talento humano. A presença de erros de digitação é muitas vezes uma revelação inoperante para uma mente humana – LLMs (grandes modelos de linguagem como ChatGPT) têm habilidades vencedoras do Spelling Bee Scripps. A IA generativa visual tem seus próprios problemas iniciais; erros como uma mão com muitos dedos são comuns.
A IA depende de padrões e frases em seus dados de treinamento – assim como o problema de usar demais a palavra “o”, às vezes pode confiar demais nesses padrões.
John Renaud, co-fundador da Winston AI, diz que dois dos sinais mais notáveis que eles procuram são “perplexidade” e “explosão”. “Perplexidade” refere-se à sofisticação dos padrões de linguagem que aparecem em uma amostra de texto (este é um padrão que existe nos dados de treinamento ou é intrincado o suficiente para parecer novo?), enquanto “explosão” refere-se a “quando um texto apresenta um conjunto de palavras e frases que são repetidas em um curto espaço de tempo”.
Renaud diz que a empresa percebeu um aumento de interesse após o ChatGPT: “Tudo aconteceu em uma ou duas semanas – de repente, não conseguíamos atender à demanda”. E não é apenas a academia: redações escolares são o conteúdo mais comumente digitalizado, mas o segundo “seriam editores digitalizando o trabalho de seus jornalistas/redatores antes de publicar”.
A empresa afirma ser um dos detectores mais precisos do mercado, com uma taxa de precisão de 99,6%. Mesmo estando “muito preocupado” com a fuga inicial do ChatGPT, Renaud desde então se tornou mais otimista.
“Com IA preditiva, sempre seremos capazes de construir um modelo para prever isso”, diz ele. Em outras palavras, a geração atual de algoritmos de preenchimento automático com esteróides sempre será determinística o suficiente para ter indicações.
Annie Chechitelli, diretora de produtos da Turnitin, também acha que os medos da IA são exagerados, publicando uma carta recentemente para o Chronicle of Higher Education intitulada “Não é verdade que o ChatGPT não pode ser detectado com precisão” e rejeitando as alegações de que passamos pelo gerado -conteúdo espelho.
“Achamos que sempre haverá uma dica”, diz ela no Zoom. “E estamos vendo outros métodos para desmascará-lo. Temos casos agora em que os professores querem que os alunos façam algo pessoalmente para estabelecer uma linha de base. E lembre-se de que temos 25 anos de dados de alunos para treinar nosso modelo.”
após a promoção do boletim informativo
E como Renaud na Winston AI, Chechitelli está vendo uma explosão de interesse em seus serviços e detecção de IA em geral. “A cada ano é realizada uma pesquisa sobre os principais desafios instrucionais dos professores. Em 2022, ‘prevenir a cola do aluno’ ficou em 10º lugar”, diz ela. “Agora é o número um.”
Ao todo, o estado da indústria dá a impressão de uma corrida armamentista entre geradores de IA e detectores de IA que dura anos, cada um negociando a supremacia enquanto o olho por olho tecnológico se desenrola. Enquanto alguns acreditam que os humanos permanecerão um passo à frente, outros são mais pessimistas sobre o potencial dessas ferramentas para eventualmente evitar nossa detecção. Irene Solaiman, diretora de políticas da startup de IA Hugging Face, escreveu recentemente no MIT Technology Review: “Quanto maior e mais poderoso o modelo, mais difícil é construir modelos de IA para detectar qual texto é escrito por um humano e o que não é .”
Uma solução maior que está sendo proposta são as “marcas d’água”. A ideia é que modelos como o ChatGPT possam ser feitos para estruturar frases de forma a identificar que o conteúdo é gerado por IA, inserindo deliberadamente os “tells” que o software de detecção já está procurando.
Mas tanto Chechitelli quanto Renaud concordam que a ideia tem falhas, especialmente se não for adotada universalmente. Se houvesse uma alternativa, “todo mundo iria para aquele sem a marca d’água”, diz Renaud. Por que alguém usaria um algoritmo que os denunciava, em vez de um que produzia silenciosamente um conteúdo convincente?
A era da web de autoria humana está terminando e ninguém tem certeza do que vem a seguir. Quer o conteúdo de IA se torne indistinguível ou o toque humano se mostre impossível de replicar, uma coisa é certa – haverá poder para aqueles que conseguirem perceber a diferença.
.
