Por que você não deve confiar no ChatGPT para resumir seu texto

Existem limites para o que o ChatGPT sabe. E a sua programação obriga-o a entregar o que você pede, mesmo que o resultado esteja errado. Isso significa que o ChatGPT comete erros e, além disso, comete alguns erros comuns, principalmente quando está resumindo informações e você não está prestando atenção.

ChatGPT pode ignorar ou interpretar mal sua solicitação

Se você fornecer ao chatbot muitos dados para classificar, mesmo que seja um prompt complexo, é provável que ele se desvie de suas instruções e siga sua própria interpretação delas.

Fazer muitas exigências ao mesmo tempo é um dos vários erros imediatos do ChatGPT a serem evitados. Mas também pode ser que o chatbot não reconheça uma palavra ou frase específica que você usa.

No exemplo a seguir, o ChatGPT obteve muitas informações sobre a função linguística dos emojis. A solicitação intencionalmente simples pedia ao chatbot que resumisse tudo e explicasse as ligações entre emojis e culturas.

O chatbot fundiu as duas respostas em um parágrafo. Um prompt de acompanhamento com instruções mais claras pediu que ela também mergulhasse em seu conjunto de conhecimentos.

É por isso que você deve manter suas instruções precisas, fornecer contexto quando necessário e ficar de olho nos resultados do ChatGPT. Se você sinalizar algum erro imediatamente, o chatbot poderá produzir algo mais preciso.

ChatGPT pode omitir informações que você fornece

ChatGPT é inteligente, mas não é uma boa ideia bombardeá-lo com detalhes sobre um determinado tópico sem especificar o que é ou não importante.

O problema aqui é que, sem instruções adequadas, o algoritmo irá selecionar quais informações considera relevantes para o relatório ou lista que você precisa.

Para testar o ChatGPT, foi solicitado que resumisse um texto sobre destinos escoceses imperdíveis e criasse um itinerário para férias em família.

Quando questionado se omitiu detalhes, admitiu que sim, omitiu algumas informações, como atrações específicas e opções de transporte. A concisão era seu objetivo.

Se deixado por conta própria, não há garantia de que o ChatGPT usará os detalhes que você espera. Portanto, planeje e formule suas instruções com cuidado para garantir que o resumo do chatbot esteja correto.

ChatGPT pode usar alternativas erradas ou falsas

OpenAI atualizou o GPT-4o com dados disponíveis até outubro de 2023, enquanto o limite do GPT-4 Turbo é dezembro do mesmo ano. No entanto, o conhecimento do algoritmo não é infinito ou confiável com fatos em tempo real – ele não sabe tudo sobre o mundo. Além disso, nem sempre revelará que faltam dados sobre um determinado assunto, a menos que você pergunte diretamente.

Ao resumir ou enriquecer textos que contenham tais referências obscuras, o ChatGPT provavelmente as substituirá por alternativas que entende ou fabricará seus detalhes.

O exemplo a seguir envolve uma tradução para o inglês. O ChatGPT não entendeu o nome grego do prêmio Toque d’Or, mas em vez de destacar o problema, apenas ofereceu uma tradução literal e errada.

Nomes de empresas, livros, prêmios, links de pesquisas e outros elementos podem desaparecer ou ser alterados no resumo do chatbot. Para evitar erros maiores, fique atento aos limites de criação de conteúdo do ChatGPT.

ChatGPT pode interpretar os fatos errados

É importante aprender tudo o que puder sobre como evitar erros com ferramentas generativas de IA. Como demonstra o exemplo acima, um dos maiores problemas do ChatGPT é que ele não possui certos fatos ou os aprendeu de maneira errada. Isso pode afetar qualquer texto que produza.

Se você solicitar um resumo de vários pontos de dados que contenham fatos ou conceitos desconhecidos do ChatGPT, o algoritmo poderá formulá-los mal.

No exemplo abaixo, o prompt pedia ao ChatGPT que resumisse quatro tendências do TikTok e explicasse o que cada uma implica.

A maioria das explicações estava ligeiramente errada ou faltava detalhes sobre o que os postadores deveriam fazer. A descrição da tendência UMG Music foi especialmente enganosa. A tendência mudou após a remoção do catálogo do TikTok, e os usuários agora postam vídeos para criticar, e não para apoiar o UMG, algo que o ChatGPT desconhece.

A melhor solução é não confiar cegamente em chatbots de IA para seu texto. Mesmo que o ChatGPT tenha compilado as informações que você mesmo forneceu, certifique-se de editar tudo o que ele produz, verificar suas descrições e afirmações e anotar quaisquer fatos errados. Então, você saberá como estruturar seus prompts para obter os melhores resultados.

ChatGPT pode errar nos limites de palavras ou caracteres

Por mais que o OpenAI aprimore o ChatGPT com novos recursos, ele ainda parece ter dificuldades com instruções básicas, como respeitar uma palavra específica ou limite de caracteres.

O teste abaixo mostra que o ChatGPT precisa de vários prompts. Ainda assim, ficou aquém ou excedeu a contagem de palavras necessária.

Não é o pior erro que se pode esperar do ChatGPT. Mas é mais um fator a considerar ao revisar os resumos que cria.

Seja específico sobre a duração que você deseja que o conteúdo tenha. Pode ser necessário adicionar ou excluir algumas palavras aqui e ali. Vale a pena o esforço se você estiver lidando com projetos com regras rígidas de contagem de palavras.

De modo geral, o ChatGPT é rápido, intuitivo e está em constante melhoria, mas ainda comete erros. A menos que você queira referências estranhas ou omissões em seu conteúdo, não confie totalmente no ChatGPT para resumir seu texto.

A causa geralmente envolve fatos ausentes ou distorcidos em seu conjunto de dados. Seu algoritmo também foi projetado para responder automaticamente, sem sempre verificar a precisão. Se o ChatGPT reconhecesse os problemas encontrados, sua confiabilidade aumentaria. Por enquanto, o melhor a fazer é desenvolver seu próprio conteúdo tendo ChatGPT como seu prático assistente que precisa de supervisão frequente.