.
Databricks
Na quarta-feira, a Databricks lançou o Dolly 2.0, supostamente o primeiro modelo de linguagem grande (LLM) de código aberto para uso comercial que foi ajustado em um conjunto de dados gerados por humanos. Poderia servir como um ponto de partida atraente para os concorrentes homebrew do ChatGPT.
Databricks é uma empresa americana de software empresarial fundada em 2013 pelos criadores do Apache Spark. Eles fornecem uma plataforma baseada na Web para trabalhar com o Spark para big data e aprendizado de máquina. Ao lançar o Dolly, a Databricks espera permitir que as organizações criem e personalizem LLMs “sem pagar por acesso à API ou compartilhar dados com terceiros”, de acordo com a postagem do blog de lançamento do Dolly.
O Dolly 2.0, seu novo modelo de 12 bilhões de parâmetros, é baseado na família de modelos pythia da EleutherAI e ajustado exclusivamente em dados de treinamento (chamados “databricks-dolly-15k”) obtidos por meio de crowdsourcing de funcionários da Databricks. Essa calibração fornece habilidades mais alinhadas com o ChatGPT da OpenAI, que é melhor para responder a perguntas e dialogar como um chatbot do que um LLM bruto que não foi ajustado.
O Dolly 1.0, lançado em março, enfrentou limitações quanto ao uso comercial devido aos dados de treinamento, que continham resultados do ChatGPT (graças à Alpaca) e estavam sujeitos aos termos de serviço da OpenAI. Para resolver esse problema, a equipe da Databricks procurou criar um novo conjunto de dados que permitisse o uso comercial.
Para fazer isso, a Databricks coletou 13.000 demonstrações de comportamento de seguir instruções de mais de 5.000 de seus funcionários entre março e abril de 2023. Para incentivar a participação, eles criaram um concurso e delinearam sete tarefas específicas para geração de dados, incluindo perguntas e respostas abertas, perguntas e respostas fechadas , extraindo e resumindo informações da Wikipedia, brainstorming, classificação e escrita criativa.
O conjunto de dados resultante, junto com os pesos do modelo de Dolly e o código de treinamento, foi lançado em código totalmente aberto sob uma licença Creative Commons, permitindo que qualquer pessoa use, modifique ou estenda o conjunto de dados para qualquer finalidade, incluindo aplicativos comerciais.
Em contraste, o ChatGPT da OpenAI é um modelo proprietário que exige que os usuários paguem pelo acesso à API e cumpram os termos de serviço específicos, potencialmente limitando a flexibilidade e as opções de personalização para empresas e organizações. O LLaMA da Meta, um modelo de código parcialmente aberto (com pesos restritos) que recentemente gerou uma onda de derivados depois que seus pesos vazaram no BitTorrent, não permite uso comercial.
No Mastodon, o pesquisador de IA Simon Willison chamou o Dolly 2.0 de “um grande negócio”. Willison frequentemente experimenta modelos de linguagem de código aberto, incluindo Dolly. “Uma das coisas mais interessantes sobre o Dolly 2.0 é o conjunto de instruções de ajuste fino, que foi construído à mão por 5.000 funcionários da Databricks e lançado sob uma licença CC”, escreveu Willison em um toot do Mastodon.
Se a reação entusiástica ao modelo LLaMA apenas parcialmente aberto da Meta for uma indicação, o Dolly 2.0 poderia desencadear uma nova onda de modelos de linguagem de código aberto que não são prejudicados por limitações proprietárias ou restrições ao uso comercial. Enquanto a palavra ainda está fora sobre o real de Dolly capacidade de desempenhooutros refinamentos podem permitir a execução de LLMs razoavelmente poderosos em máquinas locais de classe de consumo.
“Mesmo que o Dolly 2 não seja bom, espero ver um monte de novos projetos usando esses dados de treinamento em breve”, disse Willison a Ars. “E alguns deles podem produzir algo realmente útil.”
Atualmente, os pesos Dolly estão disponíveis em Hugging Face, e o conjunto de dados databricks-dolly-15k pode ser encontrado no GitHub.
.
