O GPT-4 da OpenAI exibe “desempenho de nível humano” em benchmarks profissionais

Na terça-feira, a OpenAI anunciou o GPT-4, um grande modelo multimodal que pode aceitar entradas de texto e imagem enquanto retorna uma saída de texto que “exibe desempenho de nível humano em vários benchmarks profissionais e acadêmicos”, de acordo com a OpenAI. Também na terça-feira, a Microsoft anunciou que o Bing Chat está rodando no GPT-4 o tempo todo.

Se funcionar como afirmado, o GPT-4 representa potencialmente a abertura de uma nova era na inteligência artificial. “Ele passa em um exame de barra simulado com uma pontuação em torno dos 10% melhores dos candidatos”, escreve a OpenAI em seu anúncio. “Em contraste, a pontuação do GPT-3.5 ficou em torno dos 10% inferiores.”

A OpenAI planeja liberar a capacidade de texto do GPT-4 por meio do ChatGPT e sua API comercial, mas com uma lista de espera no início. GPT-4 está atualmente disponível para assinantes do ChatGPT Plus. Além disso, a empresa está testando a capacidade de entrada de imagem do GPT-4 com um único parceiro, o Be My Eyes, um aplicativo para smartphone que pode reconhecer uma cena e descrevê-la.

Juntamente com o site introdutório, a OpenAI também lançou um documento técnico descrevendo os recursos do GPT-4 e um cartão de modelo do sistema descrevendo suas limitações em detalhes.

GPT significa “transformador pré-treinado generativo” e GPT-4 faz parte de uma série de modelos de linguagem fundamentais que remontam ao GPT original em 2018. Após o lançamento original, a OpenAI anunciou o GPT-2 em 2019 e o GPT-3 em 2020. Um refinamento adicional chamado GPT-3.5 chegou em 2022. Em novembro, a OpenAI lançou o ChatGPT, que na época era um modelo de conversação ajustado com base no GPT-3.5.

Os modelos de IA da série GPT foram treinados para prever o próximo token (um fragmento de uma palavra) em uma sequência de tokens usando um grande corpo de texto obtido em grande parte da Internet. Durante o treinamento, a rede neural constrói um modelo estatístico que representa as relações entre palavras e conceitos. Com o tempo, o OpenAI aumentou o tamanho e a complexidade de cada modelo GPT, o que resultou em desempenho geralmente melhor, modelo sobre modelo, em comparação com a forma como um ser humano completaria o texto no mesmo cenário, embora varie de acordo com a tarefa.

No que diz respeito às tarefas, o desempenho do GPT-4 é notável. Assim como seus antecessores, pode seguir instruções complexas em linguagem natural e gerar trabalhos técnicos ou criativos, mas pode fazê-lo com mais profundidade: Suporta geração e processamento até 32.768 tokens (cerca de 25.000 palavras de texto), o que permite uma criação de conteúdo ou análise de documento muito mais longa do que os modelos anteriores.

Ao analisar as capacidades do GPT-4, a OpenAI fez o modelo passar por testes como o Uniform Bar Exam, o Law School Admission Test (LSAT), o Exame de Registro de Graduação (GRE) Quantitativo e vários testes de assuntos AP. Em muitas das tarefas, marcou em nível humano. Isso significa que, se o GPT-4 fosse uma pessoa julgada apenas pela capacidade de fazer o teste, ele poderia entrar na faculdade de direito – e provavelmente em muitas universidades também.