.
A estreia do chatbot de inteligência artificial ChatGPT deixou o mundo agitado com sua capacidade de produzir textos e conversas semelhantes aos humanos. Ainda assim, muitos sinais indicadores podem nos ajudar a distinguir os chatbots de IA dos humanos, de acordo com um estudo publicado em 7 de junho na revista Células Relatórios Ciências Físicas. Com base nos sinais, os pesquisadores desenvolveram uma ferramenta para identificar a redação científica acadêmica gerada por IA com mais de 99% de precisão.
“Tentamos muito criar um método acessível para que, com pouca orientação, até alunos do ensino médio pudessem construir um detector de IA para diferentes tipos de escrita”, diz a primeira autora Heather Desaire, professora da Universidade do Kansas. “Há uma necessidade de abordar a escrita de IA, e as pessoas não precisam de um diploma de ciência da computação para contribuir com esse campo”.
“No momento, existem alguns problemas bastante evidentes com a escrita de IA”, diz Desaire. “Um dos maiores problemas é que ele reúne texto de várias fontes e não há nenhum tipo de verificação de precisão – é como o jogo Duas verdades e uma mentira.”
Embora muitos detectores de texto AI estejam disponíveis on-line e funcionem razoavelmente bem, eles não foram criados especificamente para redação acadêmica. Para preencher a lacuna, a equipe buscou construir uma ferramenta com melhor desempenho justamente para essa finalidade. Eles se concentraram em um tipo de artigo chamado perspectivas, que fornece uma visão geral de tópicos de pesquisa específicos escritos por cientistas. A equipe selecionou 64 perspectivas e criou 128 artigos gerados pelo ChatGPT sobre os mesmos tópicos de pesquisa para treinar o modelo. Quando compararam os artigos, encontraram um indicador de escrita de IA – previsibilidade.
Ao contrário da IA, os humanos têm estruturas de parágrafos mais complexas, variando no número de frases e no total de palavras por parágrafo, bem como no comprimento flutuante das frases. Preferências em sinais de pontuação e vocabulário também são uma oferta. Por exemplo, os cientistas gravitam em torno de palavras como “no entanto”, “mas” e “embora”, enquanto o ChatGPT costuma usar “outros” e “pesquisadores” por escrito. A equipe registrou 20 características para o modelo observar.
Quando testado, o modelo obteve uma taxa de precisão de 100% ao eliminar artigos de perspectiva completa gerados por IA daqueles escritos por humanos. Para identificar parágrafos individuais dentro do artigo, o modelo teve uma taxa de precisão de 92%. O modelo da equipe de pesquisa também superou um detector de texto AI disponível no mercado por uma ampla margem em testes semelhantes.
Em seguida, a equipe planeja determinar o escopo de aplicabilidade do modelo. Eles querem testá-lo em conjuntos de dados mais extensos e em diferentes tipos de redação científica acadêmica. À medida que os chatbots de IA avançam e se tornam mais sofisticados, os pesquisadores também querem saber se seu modelo permanecerá.
“A primeira coisa que as pessoas querem saber quando ouvem sobre a pesquisa é ‘Posso usar isso para saber se meus alunos realmente escreveram seus trabalhos?’”, disse Desaire. Embora o modelo seja altamente qualificado para distinguir entre IA e cientistas, Desaire diz que não foi projetado para capturar ensaios de alunos gerados por IA para educadores. No entanto, ela observa que as pessoas podem facilmente replicar seus métodos para construir modelos para seus próprios propósitos.
.
