Hiltzik: o truque do chatbot da CNET mostra os limites da IA

Todos nós fomos treinados por décadas de ficção científica para pensar na inteligência artificial como uma ameaça ao nosso futuro profissional. A ideia é: se um robô de IA pode fazer um trabalho tão bem quanto um humano – mais barato e com menos desregramento interpessoal – quem precisa do humano?

O site de notícias de tecnologia CNET tentou responder a essa pergunta, discretamente, até secretamente. Durante meses, o site empregou um mecanismo de IA para escrever artigos para sua página de finanças pessoais CNET Money. Os artigos abordavam tópicos como “O que são juros compostos?” e “O que acontece quando você devolve um cheque?”

À primeira vista e para novatos financeiros, os artigos pareciam convincentes e informativos. A CNET continuou a prática até o início deste mês, quando foi divulgada pelo site Futurism.

Mas, como o Futurismo determinou, os artigos escritos por bots têm grandes limitações. Por um lado, muitos estão cheios de erros. Por outro lado, muitos estão repletos de plágio – em alguns casos, da própria CNET ou de seus sites irmãos.

Jon Christian, do Futurism, colocou a questão do erro sem rodeios em um artigo afirmando que o problema com a IA de redação de artigos da CNET é que “é meio idiota”. Christian seguiu com um artigo encontrando vários casos que variam “de cópia literal a edições moderadas a reformulações significativas, tudo sem os devidos créditos ao original”.

Esse nível de mau comportamento faria com que um estudante humano fosse expulso ou um jornalista demitido.

Já escrevemos antes sobre os limites não apreciados das novas tecnologias, especialmente aquelas que parecem quase mágicas, como aplicativos de inteligência artificial.

Para citar Rodney Brooks, o cientista e empresário de robótica e IA sobre o qual escrevi na semana passada: “Existe uma verdadeira indústria caseira nas mídias sociais com dois lados; um fala sobre performances virtuosas desses sistemas, talvez escolhidos a dedo, e o outro mostra como eles são incompetentes em coisas muito simples, novamente escolhidos a dedo. O problema é que, como usuário, você não sabe de antemão o que vai conseguir.”

Isso nos traz de volta ao bot de redação de artigos da CNET. A CNET não identificou o aplicativo de IA específico que estava usando, embora o momento sugira que não é o ChatGPT, o gerador de linguagem de IA que criou um grande rebuliço entre os tecnólogos e preocupações entre os professores por causa de sua aparente capacidade de produzir trabalhos escritos que pode ser difícil distinguir como não-humanos.

A CNET não tornou a contribuição da IA ​​para seus artigos especialmente evidente, acrescentando apenas uma linha de letras pequenas dizendo: “Este artigo foi assistido por um mecanismo de IA e revisado, verificado e editado por nossa equipe editorial”. Os mais de 70 artigos foram atribuídos ao “CNET Money Staff”. Desde a divulgação do Futurismo, a assinatura foi alterada para simplesmente “CNET Money”.

Na semana passada, de acordo com o Verge, os executivos da CNET disseram aos funcionários que o site interromperia a publicação do material gerado por IA no momento.

Como o cristão do Futurismo estabeleceu, os erros nos artigos do bot variavam de definições incorretas fundamentais de termos financeiros a simplificações excessivas injustificadas. No artigo sobre juros compostos, o bot da CNET escreveu originalmente: “se você depositar $ 10.000 em uma conta poupança que rende 3% de juros compostos anualmente, você ganhará $ 10.300 no final do primeiro ano”.

Isso está errado — os ganhos anuais seriam de apenas US$ 300. O artigo foi corrigido para dizer que “você ganhará $ 300 que, somados ao valor principal, você teria $ 10.300 no final do primeiro ano”.

O bot também descreveu inicialmente os pagamentos de juros de um empréstimo para automóveis de US$ 25.000 com juros de 4% como “um valor fixo de US$ 1.000… por ano”. São os pagamentos de empréstimos para automóveis, como hipotecas, que são fixos – os juros são cobrados apenas sobre os saldos pendentes, que diminuem à medida que os pagamentos são feitos. Mesmo em um empréstimo de carro de um ano a 4%, os juros chegarão a apenas US$ 937. Para empréstimos de prazo mais longo, o total de juros pagos cai a cada ano.

A CNET corrigiu isso também, junto com outros cinco erros no mesmo artigo. Juntando tudo, a afirmação do site de que seu bot de IA estava sendo “verificado e editado por nossa equipe editorial” começa a parecer um pouco fraca.

O plágio do bot é mais impressionante e fornece uma pista importante de como o programa funcionava. Christian descobriu que o bot parecia ter replicado o texto de fontes como Forbes, Balance e Investopedia, que ocupam o mesmo campo de aconselhamento financeiro pessoal que o CNET Money.

Nesses casos, o bot utilizou técnicas de ocultação semelhantes às dos plagiadores humanos, como pequenas reformulações e trocas de palavras. Em pelo menos um caso, o bot plagiou do Bankrate, uma publicação irmã da CNET.

Nada disso é especialmente surpreendente porque uma chave para a função dos bots de linguagem é seu acesso a um enorme volume de prosa e verso gerados por humanos. Eles podem ser bons em encontrar padrões no material de origem que possam replicar, mas neste estágio do desenvolvimento da IA ​​eles ainda estão escolhendo cérebros humanos.

A impressionante coerência e força de saída desses programas, até e incluindo o ChatGPT, parece ter mais a ver com sua capacidade de selecionar a partir de matéria-prima gerada por humanos do que com qualquer capacidade de desenvolver novos conceitos e expressá-los.

De fato, “um exame minucioso do trabalho produzido pela IA da CNET faz com que pareça menos um gerador de texto sofisticado e mais uma máquina automatizada de plágio, casualmente bombeando trabalho furtado”, escreveu Christian.

Onde estamos no continuum entre a incoerência gerada por robôs e a expressão genuinamente criativa é difícil de determinar. Jeff Schatten, professor da Washington and Lee University, escreveu em um artigo em setembro que o bot de linguagem mais sofisticado da época, conhecido como GPT-3, tinha limitações óbvias.

“Ele tropeça em tarefas de escrita complexas”, escreveu ele. “Não pode criar um romance ou mesmo um conto decente. Suas tentativas de escrita acadêmica… são risíveis. Mas quanto tempo antes que a capacidade esteja lá? Seis meses atrás, o GPT-3 lutava com perguntas rudimentares e hoje pode escrever uma postagem de blog razoável discutindo ‘maneiras de um funcionário obter uma promoção de um chefe relutante’”.

É provável que aqueles que precisam julgar o trabalho escrito, como professores, achem cada vez mais difícil distinguir o material produzido por IA dos resultados humanos. Um professor relatou recentemente que pegou um aluno enviando um artigo escrito por bot à moda antiga – era bom demais.

Com o tempo, a confusão sobre se algo é produzido por bot ou humano pode depender não das capacidades do bot, mas das dos humanos responsáveis.