As respostas do ChatGPT têm limite de caracteres ou palavras?

ChatGPT é uma grande novidade. Mas quão grandes são as respostas que você obtém deste chatbot multifuncional?

Estabelecer isso não é tão simples quanto você imagina. Para começar, faça esta pergunta ao ChatGPT e você terá a certeza de que não há limites definidos para a extensão de suas respostas.

No entanto, como descobrimos aqui, não é tão simples. Existem limites ocultos para a duração de uma resposta ChatGPT, mas também existem algumas soluções alternativas simples e interessantes para ajudá-lo a obter respostas mais longas.

Como o ChatGPT determina a duração de uma resposta?

O funcionamento do ChatGPT é complexo e o comprimento da resposta varia dependendo do que está sendo solicitado e do nível de detalhe solicitado. Como mostra a próxima captura de tela, ChatGPT afirma que não há limites estritos.

É claro que perguntar ao ChatGPT sobre si mesmo não é uma boa ideia, pois normalmente não é objetivo sobre suas habilidades ou tem informações limitadas. Portanto, executamos alguns testes para determinar os limites de comprimento das respostas do ChatGPT. Pedimos ao chatbot que escrevesse um artigo de 5.000 palavras sobre a história da Copa do Mundo FIFA. A avaliação do ChatGPT sobre si mesmo diferiu dos resultados que encontramos.

ChatGPT é uma ferramenta poderosa. Mas talvez 5.000 palavras fossem pedir demais, então pedi 2.500 palavras.

ChatGPT ainda disse que não conseguiu atender a solicitação. Trabalhamos até 1.000 palavras antes que o chatbot produzisse o artigo. Mas havia outro problema: por mais que tentássemos, o ChatGPT não conseguia produzir 1.000 palavras sobre o assunto. Mas por que? O que está limitando a capacidade do chatbot de produzir respostas mais longas?

Parte da resposta sobre por que isso acontece está em algo chamado sistema de tokens.

Qual é o sistema de token que o ChatGPT usa?

Quando você faz uma pergunta ao ChatGPT, a duração das respostas que ele pode fornecer depende de um sistema de token. Em vez de uma simples contagem de palavras para determinar a extensão das consultas e respostas, o ChatGPT usa este sistema. Notou alguma coisa? A duração das “perguntas e respostas” é levada em consideração. O sistema de tokens divide cada entrada e saída em uma série de tokens para classificar a solicitação e o tamanho da resposta.

Embora a contagem de palavras desempenhe um papel nisso, não é toda a história. Por exemplo, o exemplo abaixo foi inserido na ferramenta Tokenizer da OpenAI.

A frase “Quantas palavras digitei” e a resposta “6” foram “tokenizadas” para um valor de nove tokens. Isso é consistente com a “regra prática” da OpenAI de que um token equivale a cerca de três quartos de uma palavra.

É aqui que as coisas ficam um pouco complicadas. Os modelos GPT da OpenAI vêm em comprimentos de token variados. O modelo GPT-4 padrão que vem com sua assinatura ChatGPT Plus oferece comprimento de contexto de token entre 4k e 8k. OpenAI também fornece um modelo GPT-4 de comprimento de contexto de token estendido de 32k. A série GPT-3.5 oferece ainda mais variedade de tokens. Existem modelos GPT-3.5 de 4k, 8k e 16k. No entanto, nem todos esses modelos estão disponíveis publicamente.

Usamos os modelos básicos GPT-3.5 e supostos GPT-4 8k para este teste. Dizemos “suposto” porque a tag 8k não foi verificada quando executamos um teste de janela de contexto. E há o fato de que não há confirmação de fontes oficiais de que o modelo GPT-4 em chat.openai.com seja um modelo de 8k.

O modelo básico GPT 3.5 4k deve restringir as perguntas e respostas dos usuários a 4.097 tokens. Da mesma forma, o modelo GPT-4 8k deve entregar 8.192 tokens. Pelas contas da OpenAI, isso equivale a cerca de 3.000 palavras para o GPT-3.5 e cerca de 5.000 a 6.000 palavras para os tokens GPT-4 de 8k. Mas espere um minuto. Com uma capacidade aproximada de 3.000 a 6.000 palavras em qualquer um dos modelos, por que o ChatGPT não foi capaz de entregar um artigo de 2.500 ou mesmo 1.500 palavras quando solicitamos? Por que as respostas do ChatGPT são muito menores do que a contagem de tokens anunciada ou o comprimento do contexto?

Por que as respostas do ChatGPT são limitadas?

Embora o comprimento do token pareça simples e bom em teoria, há mais informações sobre como os modelos de IA consideram esses limites. Existem duas considerações notáveis.

1. Conversas anteriores: como o ChatGPT é um chatbot conversacional, sempre que você faz uma pergunta, o chatbot considera as conversas mais antigas para permanecerem consistentes e garantir interações que pareçam naturais. Isso significa que em conversas mais longas, prompts e respostas mais antigos são invariavelmente considerados como parte da janela de contexto e acabam consumindo o tamanho do token. Portanto, não são apenas as perguntas e respostas imediatas que são consideradas no cálculo da janela de contexto.
2. Demanda do sistema: ChatGPT rapidamente se tornou um dos aplicativos de crescimento mais rápido de todos os tempos. Isso gerou uma enorme demanda por ChatGPT. Para garantir que todos participem da ação, os tokens de 8k podem nem sempre ser 8k. Lembre-se de que quanto mais tokens processar, maior será a demanda do sistema. Para diminuir a demanda média de cada usuário, as respostas são reduzidas para muito abaixo dos limites estabelecidos.

Para enfatizar, esta não é uma regra fixa – geramos resultados que excederam isso em quase duzentas palavras. No entanto, este pode ser considerado um limite superior seguro para obter respostas completas.

Como obter respostas mais longas do ChatGPT

Depois de entender que existe um “limite oculto” para as respostas do ChatGPT, existem algumas maneiras simples de ajudá-lo a obter respostas mais completas.

1. Peça ao ChatGPT para continuar: Se o ChatGPT parar no meio de uma resposta, uma opção é simplesmente pedir para continuar. No exemplo abaixo, digitamos “Continue” e acrescentamos mais duzentas palavras à resposta.

   

2. Divida sua pergunta em seções menores: Por exemplo, pedimos várias vezes que escrevesse um ensaio sobre o impacto da IA ​​na sociedade. Uma opção aqui é pedir que ele marque alguns tópicos para um ensaio sobre IA e, em seguida, use os marcadores fornecidos como instruções individuais.

   

3. Use a opção Regenerar: Embora isso possa gerar o mesmo erro, sem nada a perder, sempre vale a pena tentar.
4. Especifique um limite máximo para a contagem de palavras no prompt: A imagem abaixo ilustra como isso pode ser usado para manipular a contagem máxima de palavras em uma resposta.

   

5. Inicie uma nova conversa: iniciar uma nova conversa oferece uma lousa em branco para trabalhar. Lembre-se de que o ChatGPT considera solicitações e respostas anteriores em uma conversa. Iniciar um novo bate-papo fornece contexto não utilizado para trabalhar.

Essas dicas irão ajudá-lo a obter respostas mais completas do ChatGPT e contornar o limite não oficial no comprimento de suas respostas.

ChatGPT: Qualidade acima da quantidade

Embora não haja informações oficiais sobre o comprimento máximo das respostas do ChatGPT, na prática, existem restrições ocultas. O sistema de token, influenciado por conversas anteriores e pela demanda do sistema, afeta a duração das respostas do ChatGPT. No entanto, ao pedir ao ChatGPT para continuar, dividir as perguntas em partes, regenerar as respostas, especificar a contagem de palavras e iniciar novos bate-papos, muitas vezes você pode obter respostas mais completas e mais longas. Embora não seja perfeito, estar ciente desses limites não oficiais e usar as técnicas corretas pode ajudá-lo a aproveitar ao máximo este poderoso chatbot de IA.