.
Jerome Pesenti tem alguns motivos para comemorar a decisão da Meta na semana passada de lançar o Llama 3, um poderoso modelo de linguagem de código aberto que qualquer pessoa pode baixar, executar e desenvolver.
Pesenti foi vice-presidente de inteligência artificial da Meta e diz que muitas vezes pressionou a empresa a considerar o lançamento de sua tecnologia para que outros a usassem e desenvolvessem. Mas seu principal motivo de alegria é que sua nova startup terá acesso a um modelo de IA que, segundo ele, tem poder muito próximo do gerador de texto GPT-4, líder do setor da OpenAI, mas consideravelmente mais barato de executar e mais aberto ao escrutínio e modificação externos. .
“O lançamento na sexta-feira passada realmente parece uma virada de jogo”, diz Pesenti. Sua nova empresa, Chiar, um tutor de IA, atualmente usa GPT-4 e outros modelos de IA, tanto fechados quanto abertos, para elaborar conjuntos de problemas e currículos para os alunos. Seus engenheiros estão avaliando se o Llama 3 poderia substituir o modelo da OpenAI em muitos casos.
A história de Sizzle pode augurar uma mudança mais ampla no equilíbrio de poder na IA. OpenAI mudou o mundo com ChatGPT, desencadeando uma onda de investimentos em IA e atraindo mais de 2 milhões de desenvolvedores para suas APIs em nuvem. Mas se os modelos de código aberto se mostrarem competitivos, os desenvolvedores e empreendedores podem decidir parar de pagar para acessar o modelo mais recente da OpenAI ou do Google e usar o Llama 3 ou um dos outros modelos de código aberto cada vez mais poderosos que estão surgindo.
“Será uma corrida de cavalos interessante”, diz Pesenti sobre a competição entre modelos abertos como o Llama 3 e modelos fechados como o GPT-4 e o Gemini do Google.
O modelo anterior do Meta, Llama 2, já era influente, mas a empresa diz que tornou a versão mais recente mais poderosa, alimentando-a com maiores quantidades de dados de treinamento de alta qualidade, com novas técnicas desenvolvidas para filtrar conteúdo redundante ou distorcido e selecionar o melhor. mistura de conjuntos de dados a serem usados.
Pesenti diz que está executando o Llama 3 em uma plataforma de nuvem como Fogos de artifício.ai custa apenas um vigésimo do custo de acesso ao GPT-4 por meio de uma API. Ele acrescenta que o Llama 3 pode ser configurado para responder a consultas com extrema rapidez, uma consideração importante para desenvolvedores de empresas como a dele, que dependem de modelos de diferentes fornecedores. “É uma equação entre latência, custo e precisão”, diz ele.
Os modelos abertos parecem estar caindo em um ritmo impressionante. Algumas semanas atrás, entrei na startup Databricks para testemunhar os estágios finais de um esforço para construir o DBRX, um modelo de linguagem construído que foi brevemente o melhor aberto do mercado. Essa coroa agora é do Llama 3. Ali Ghodsi, CEO da Databricks, também descreve o Llama 3 como “revolucionário” e diz que o modelo maior “está se aproximando da qualidade do GPT 4 – que nivela o campo de jogo entre LLMs de código aberto e fechado”.
O Llama 3 também mostra o potencial de tornar os modelos de IA menores, para que possam ser executados em hardware menos potente. A Meta lançou duas versões de seu modelo mais recente, uma com 70 bilhões de parâmetros – uma medida das variáveis que usa para aprender com dados de treinamento – e outra com 8 bilhões. O modelo menor é compacto o suficiente para rodar em um laptop, mas é notavelmente capaz, pelo menos nos testes da WIRED.
Dois dias antes do lançamento do Meta, Mistraluma empresa francesa de IA fundada por ex-alunos da equipe de Pesenti na Meta, código aberto Mixtral 8x22B. Possui 141 bilhões de parâmetros, mas utiliza apenas 39 bilhões deles ao mesmo tempo, um design conhecido como uma mistura de especialistas. Graças a esse truque, o modelo é consideravelmente mais capaz do que alguns modelos muito maiores.
A Meta não é a única gigante da tecnologia que lança IA de código aberto. Esta semana a Microsoft lançou Phi-3-mini e a Apple lançou OpenELMdois modelos de linguagem pequenos, mas capazes, de uso gratuito, que podem ser executados em um smartphone.
Os próximos meses mostrarão se o Llama 3 e outros modelos abertos realmente podem substituir modelos premium de IA como o GPT-4 para alguns desenvolvedores. E uma IA de código aberto ainda mais poderosa está chegando. A empresa está trabalhando em uma versão massiva de 400 bilhões de parâmetros do Llama 3 que, segundo o cientista-chefe de IA, Yann LeCun, deveria ser uma das mais capazes do mundo.
É claro que toda esta abertura não é puramente altruísta. O CEO da Meta, Mark Zuckerberg, diz que está abrindo seus modelos de IA deve, em última análise, beneficiar a empresa reduzindo o custo das tecnologias nas quais depende, por exemplo, gerando ferramentas e serviços compatíveis que o Meta pode usar para si próprio. Ele não disse que também pode ser benéfico para a Meta impedir que OpenAI, Microsoft ou Google dominem o campo.
.
