.
As capacidades impressionantes do ChatGPT, o chatbot da startup OpenAI, desencadeou uma onda de novos interesses e investimentos em inteligência artificial. Mas no final da semana passada, o CEO da OpenAI alertou que a estratégia de pesquisa que deu origem ao bot acabou. Não está claro exatamente de onde virão os avanços futuros.
A OpenAI forneceu uma série de avanços impressionantes em IA que trabalha com linguagem nos últimos anos, pegando algoritmos de aprendizado de máquina existentes e ampliando-os para um tamanho inimaginável. O GPT-4, o mais recente desses projetos, provavelmente foi treinado usando trilhões de palavras de texto e muitos milhares de poderosos chips de computador. O processo custou mais de US$ 100 milhões.
Mas o CEO da empresa, Sam Altman, diz que mais progresso não virá de modelos maiores. “Acho que estamos no fim da era em que serão essas modelos gigantes”, disse ele a uma platéia em um evento realizado no MIT na semana passada. “Vamos torná-los melhores de outras maneiras.”
A declaração de Altman sugere uma reviravolta inesperada na corrida para desenvolver e implantar novos algoritmos de IA. Desde que a OpenAI lançou o ChatGPT em novembro, a Microsoft usou a tecnologia subjacente para adicionar um chatbot ao seu mecanismo de busca Bing, e o Google lançou um chatbot rival chamado Bard. Muitas pessoas correram para experimentar o uso da nova geração de chatbot para ajudar no trabalho ou em tarefas pessoais.
Enquanto isso, várias startups bem financiadas, incluindo Anthropic, AI21, Cohere e Character.AI, estão investindo enormes recursos na construção de algoritmos cada vez maiores em um esforço para alcançar a tecnologia da OpenAI. A versão inicial do ChatGPT foi baseada em uma versão ligeiramente atualizada do GPT-3, mas os usuários agora também podem acessar uma versão desenvolvida pelo GPT-4, mais capaz.
A declaração de Altman sugere que o GPT-4 pode ser o último grande avanço a emergir da estratégia da OpenAI de tornar os modelos maiores e alimentá-los com mais dados. Ele não disse que tipo de estratégias ou técnicas de pesquisa podem substituí-lo. No artigo que descreve o GPT-4, a OpenAI diz que suas estimativas sugerem retornos decrescentes ao aumentar o tamanho do modelo. Altman disse que também há limites físicos para quantos data centers a empresa pode construir e com que rapidez ela pode construí-los.
Nick Frosst, cofundador da Cohere, que trabalhou anteriormente em IA no Google, diz que a sensação de Altman de que crescer não funcionará indefinidamente soa verdadeira. Ele também acredita que o progresso nos transformadores, o tipo de modelo de aprendizado de máquina no coração do GPT-4 e seus rivais, está além da escala. “Existem muitas maneiras de tornar os transformadores muito, muito melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo”, diz ele. Frosst diz que novos projetos de modelos de IA, ou arquiteturas, e ajustes adicionais com base no feedback humano são direções promissoras que muitos pesquisadores já estão explorando.
Cada versão da influente família de algoritmos de linguagem da OpenAI consiste em uma rede neural artificial, software vagamente inspirado na maneira como os neurônios trabalham juntos, que é treinado para prever as palavras que devem seguir uma determinada sequência de texto.
.
