.
Um estudante universitário de 22 anos desenvolveu um aplicativo que, segundo ele, pode detectar se o texto é escrito pelo ChatGPT, o explosivo chatbot que aumenta o medo de plágio na academia.
Edward Tian, aluno do último ano da Universidade de Princeton, desenvolveu o GPTZero durante as férias de verão. Ele teve 30.000 acessos em uma semana de seu lançamento.
Tian disse que a motivação era abordar o uso de inteligência artificial para evitar software antiplágio para trapacear em exames com redação acadêmica rápida e confiável.
Seu tuíte inicial, que afirmava que o aplicativo poderia “rápida e eficientemente” detectar se um ensaio havia sido escrito por inteligência artificial, se tornou viral com mais de 5 milhões de visualizações.
Passei o Ano Novo construindo o GPTZero – um aplicativo que pode detectar de forma rápida e eficiente se um ensaio é ChatGPT ou escrito por humanos
—Edward Tian (@edward_the6) 3 de janeiro de 2023
Streamlit, a plataforma gratuita que hospeda o GPTZero, desde então oferece suporte ao Tian com recursos de hospedagem e memória para acompanhar o tráfego da web.
Para determinar se o texto foi escrito por inteligência artificial, o app testa um cálculo de “perplexidade” – que mede a complexidade de um texto, e “estouro” – que compara a variação de frases.
Quanto mais familiar for o texto para o bot – que é treinado em dados semelhantes – maior a probabilidade de ser gerado pela IA.
Tian disse aos assinantes que o modelo mais novo usa os mesmos princípios, mas com uma capacidade aprimorada de detectar inteligência artificial em texto.
“Ao testar o novo modelo em um conjunto de dados de artigos de notícias da BBC e artigos gerados por IA a partir das mesmas manchetes, o modelo aprimorado tem uma taxa de falsos positivos de < 2%”, disse ele.
“Nos próximos meses, estarei totalmente focado na construção do GPTZero, melhorando os recursos do modelo e expandindo totalmente o aplicativo.”
Toby Walsh, professor de inteligência artificial da Scientia na Universidade de New South Wales, não estava convencido.
Ele disse que, a menos que o aplicativo seja adquirido por uma grande empresa, é improvável que tenha impacto na capacidade do ChatGPT de ser usado para plágio.
“É sempre uma corrida armamentista entre a tecnologia para identificar o texto sintético e os aplicativos”, disse ele. “E é muito fácil pedir ao ChatGPT para reescrever em um estilo mais pessoal … como reformular como um garoto de 11 anos.
“Isso tornará mais difícil, mas não impedirá.”
Walsh disse que os usuários também podem pedir ao ChatGPT para adicionar mais “aleatoriedade” ao texto para evitar os censores e ofuscar com diferentes sinônimos e edições gramaticais.
Enquanto isso, ele disse que cada aplicativo desenvolvido para detectar textos sintéticos deu maior capacidade para os programas de inteligência artificial escaparem da detecção.
E cada vez que um usuário se conectava ao ChatGPT, ele gerava feedback humano para melhorar os filtros, implícita e explicitamente.
“Há uma profunda razão técnica fundamental para nunca vencermos a corrida armamentista”, disse Walsh.
“Todo programa usado para identificar texto sintético pode ser adicionado a [the original program] para gerar texto sintético para enganá-los… é sempre o caso.
“Estamos treinando, mas está melhorando a cada dia.”
Os usuários do GPTZero citaram resultados mistos.
“Parecia que estava funcionando – e funciona para textos gerados inteiramente por modelos GPT ou gerados com intervenção semi-humana”, escreveu um assinante.
“No entanto … não funciona bem com ensaios escritos por bons escritores. Ele sinalizou tantas redações como escritas por IA.
“Esta é ao mesmo tempo uma ferramenta muito útil para os professores e, por outro lado, uma ferramenta muito perigosa – confiar demais nela levaria à exacerbação das bandeiras falsas.”
“Boa tentativa, mas o ChatGPT é muito bom no que faz”, escreveu outro assinante.
“Eu colei cerca de 350 palavras em francês … principalmente geradas pelo ChatGPT. O texto é ligeiramente editado manualmente para um estilo melhor e gerado com um contexto forte e forçado que leva à presença de nomes próprios.
“Esse texto passa no teste GPTZero como humano… Não estou totalmente convencido de que a cooperação humana-IA adequada possa ser sinalizada.”
.
