.
A Dell se uniu à Meta, controladora do Facebook, para tentar tornar mais fácil para os clientes implantarem o modelo de linguagem grande (LLM) Llama 2 no local, em vez de acessá-lo através da nuvem.
Existe um mercado para clientes empresariais que desejam implantar e executar o modelo de IA da Meta usando sua própria infraestrutura de TI, diz Dell, e o objetivo é se tornar o fornecedor preferencial desse kit.
Isso se concentra na Dell Design validado para IA generativa portfólio – construções de hardware pré-testadas anunciadas este ano, projetadas em conjunto com a fabricante de GPU Nvidia. Além disso, a Dell oferece orientação de implantação e configuração para que os clientes possam começar a trabalhar em menos tempo.
Por exemplo, a Dell integrou os modelos Llama 2 em suas ferramentas de dimensionamento de sistema para orientar os clientes na configuração correta para o que desejam alcançar.
O diretor de IA da Dell, Jeff Boudreau, disse em um comunicado que os modelos generativos de IA, incluindo o Llama 2, têm o potencial de “transformar a forma como as indústrias operam e inovam”.
“Com a colaboração tecnológica entre Dell e Meta, estamos tornando o GenAI de código aberto mais acessível a todos os clientes, por meio de orientações detalhadas de implementação combinadas com a infraestrutura ideal de software e hardware para implantações de todos os tamanhos”, disse ele.
Lhama 2 era disponibilizado em julho, como um conjunto de modelos de linguagem pré-treinados e ajustados, em três tamanhos diferentes; um com sete bilhões de parâmetros, 13 bilhões, e outro com 70 bilhões, que possuem requisitos de hardware diferentes.
O download do modelo é gratuito para pesquisa e algum uso comercial é suportado. A Meta já trabalhou com Microsoft e Amazon para disponibilizá-lo nas plataformas de nuvem Azure e AWS.
Há alguma controvérsia sobre chamar o Llama 2 de código aberto quando não está disponível sob uma licença aprovada pela Open Source Initiative (OSI), como Strong The One observado no momento.
Os projetos validados da Dell para IA generativa foram revelados em agosto, combinando o kit de servidor da empresa com GPUs, armazenamento e software da Nvidia, como o pacote AI Enterprise da Nvidia. A empresa confirmou isso junto com os serviços profissionais para colocar os clientes em funcionamento com IA generativa – por um preço, é claro.
Os designs validados visam trabalhos de inferência, para aplicações que envolvam geração de linguagem natural, como chatbots e assistentes virtuais, bem como marketing e criação de conteúdo, embora a Dell tenha desde então ampliou o portfólio para oferecer suporte à personalização e ajuste de modelos.
De acordo com a Dell, o Llama 2 com 7 bilhões de parâmetros pode ser executado com apenas uma GPU, enquanto a versão de 13 bilhões de parâmetros requer duas GPUs, e a versão de 70 bilhões exige oito. Dell descreveu em um blog como as versões de 7 bilhões e 13 bilhões de parâmetros podem ser implantadas no sistema PowerEdge R760xa, enquanto a versão de 70 bilhões de parâmetros precisa de algo como o PowerEdge XE9680 servidor devido ao requisito de oito GPUs. ®
.
