.
Pruna você temuma startup europeia que tem trabalhado em algoritmos de compressão para os modelos de IA, está fazendo sua estrutura de otimização código aberto na quinta -feira.
A Pruna AI está criando uma estrutura que aplica vários métodos de eficiência, como cache, poda, quantização e destilação, a um determinado modelo de IA.
“Também padronizamos a economia e o carregamento dos modelos compactados, aplicando combinações desses métodos de compactação e também avaliando seu modelo compactado depois de comprimi-lo”, disse o co-defensor da Pruna AI e o CTO John Rachwan ao Strong The One.
Em particular, a estrutura de Pruna AI pode avaliar se houver uma perda significativa de qualidade após a compactação de um modelo e os ganhos de desempenho que você obtém.
“Se eu usasse uma metáfora, somos semelhantes a como abraçar transformadores e difusores de rosto de rosto – como chamá -los, como salvá -los, carregá -los, etc. Estamos fazendo o mesmo, mas para métodos de eficiência”, acrescentou.
Os grandes laboratórios de IA já usaram vários métodos de compressão. Por exemplo, o OpenAI confia na destilação para criar versões mais rápidas de seus principais modelos.
Provavelmente, é como o OpenAI desenvolveu o GPT-4 Turbo, uma versão mais rápida do GPT-4. Da mesma forma, o Fluxo.1-Fast O modelo de geração de imagens é uma versão destilada do modelo.1 do modelo da Black Forest Labs.
A destilação é uma técnica usada para extrair conhecimento de um grande modelo de IA com um modelo “professor-aluno”. Os desenvolvedores enviam solicitações a um modelo de professor e registram as saídas. Às vezes, as respostas são comparadas com um conjunto de dados para ver como elas são precisas. Esses resultados são usados para treinar o modelo de aluno, que é treinado para aproximar o comportamento do professor.
“Para grandes empresas, o que elas costumam fazer é que elas criam essas coisas internamente. E o que você pode encontrar no mundo de código aberto geralmente é baseado em métodos únicos. Por exemplo, digamos um método de quantização para LLMs ou um método de cache para modelos de difusão”, disse Rachwan. “Mas você não consegue encontrar uma ferramenta que agregue todos eles, facilita todos eles de usar e combinar. E esse é o grande valor que Pruna está trazendo agora.”
Enquanto a PRUNA AI suporta qualquer tipo de modelos, de grandes modelos de idiomas a modelos de difusão, modelos de fala para texto e modelos de visão computacional, a empresa está se concentrando mais especificamente nos modelos de geração de imagens e vídeos no momento.
Alguns dos usuários existentes de Pruna AI incluem Cenário e Fototoom. Além da edição de código aberto, a Pruna AI possui uma oferta corporativa com recursos avançados de otimização, incluindo um agente de otimização.
“O recurso mais emocionante que estamos lançando em breve será um agente de compressão”, disse Rachwan. “Basicamente, você dá seu modelo, você diz: ‘Quero mais velocidade, mas não solte minha precisão em mais de 2%.’ E então, o agente fará sua mágica.
Pruna AI cobra a cada hora por sua versão Pro. “É semelhante a como você pensaria em uma GPU quando aluga uma GPU na AWS ou em qualquer serviço em nuvem”, disse Rachwan.
E se o seu modelo for uma parte crítica da sua infraestrutura de IA, você acabará economizando muito dinheiro em inferência no modelo otimizado. Por exemplo, a PRUNA AI tornou um modelo de llama oito vezes menor sem muita perda usando sua estrutura de compressão. A Pruna AI espera que seus clientes pensem em sua estrutura de compressão como um investimento que se paga.
Pruna AI levantou uma rodada de financiamento de sementes de US $ 6,5 milhões há alguns meses. Os investidores da startup incluem empreendimentos de EQT, Daphni, Motier Ventures e Kima Ventures.
.
