.
euNa semana passada, a Meta anunciou o LLaMA, sua mais recente tentativa de criar um “modelo de linguagem grande”* no estilo GPT. Se a IA é o futuro da tecnologia, as grandes empresas de tecnologia precisam controlar seus próprios modelos ou serão deixadas para trás pela concorrência. O LLaMA se junta ao GPT da OpenAI (licenciado pela Microsoft para Bing e sustentando o ChatGPT da própria OpenAI) e ao LaMDA do Google (que fortalecerá o Bard, seu rival do ChatGPT) nos escalões superiores do campo.
O objetivo da Meta não era simplesmente replicar o GPT. Ele diz que o LLaMA é um “modelo menor e com mais desempenho” do que seus pares, construído para alcançar os mesmos feitos de compreensão e articulação com uma pegada menor em termos de computação* e, portanto, tem um impacto ambiental correspondentemente menor. (O fato de ser mais barato também não prejudica.)
Mas a empresa também procurou se diferenciar de outra forma, tornando o LLaMA “aberto”, apontando implicitamente que, apesar de sua marca, “OpenAI” é tudo menos isso. De seu anúncio:
Mesmo com todos os avanços recentes em modelos de linguagem grandes, o acesso total à pesquisa permanece limitado devido aos recursos necessários para treinar e executar modelos tão grandes. Esse acesso restrito limitou a capacidade dos pesquisadores de entender como e por que esses grandes modelos de linguagem funcionam, dificultando o progresso dos esforços para melhorar sua robustez e mitigar problemas conhecidos, como viés, toxicidade e potencial para gerar desinformação.
Ao compartilhar o código do LLaMA, outros pesquisadores podem testar mais facilmente novas abordagens para limitar ou eliminar esses problemas em grandes modelos de linguagem.
Ao liberar o LLaMA para uso dos pesquisadores, a Meta eliminou um dos principais limites da pesquisa acadêmica de IA: o vasto custo de treinamento de um LLM*. Três anos atrás, cada rodada de treinamento do GPT-3 custava entre US$ 10 milhões e US$ 12 milhões. (A OpenAI não divulgou o custo real, apenas a quantidade de computação usada para uma execução individual; também não divulgou quantas execuções foram necessárias para acertar, dada a natureza de tentativa e erro do campo.) O preço só aumentou desde então, portanto, ao liberar o LLaMA para uso dos pesquisadores, a Meta está permitindo que eles economizem milhões – ou, mais realisticamente, abrindo a perspectiva de pesquisa fundamental por completo.
Ao focar na eficiência, a empresa também barateou a operação do sistema. O modelo LLaMA mais avançado tem 65 bilhões de “parâmetros” (mais ou menos, mas não exatamente o número de linhas de conexão na vasta rede neural * em seu coração), apenas um terço do tamanho do menino mais robusto do GPT-3, mas Meta diz que o dois são aproximadamente equivalentes em capacidade. Esse tamanho reduzido significa que o LLaMA pode ser executado em sistemas muito mais baratos, mesmo um computador de mesa – se você pode tolerar tempos de processamento glacial.
Mas a generosidade de Meta não era ilimitada. “Para manter a integridade e evitar o uso indevido… o acesso ao modelo será concedido caso a caso”, disse a empresa. Inicialmente, foi criticado pela forma como julgou esses casos, com acusações de viés ocidental para quem é considerado elegível.
*Algum desses termos ainda é confuso? Confira o glossário de IA da semana passada.
LLaMA com vazamento
Mas essas críticas foram discutidas no fim de semana, quando todo o modelo vazou para qualquer um baixar. Publicado inicialmente no 4Chan, um link para o espelho BitTorrent do LLaMA acabou chegando ao GitHub, onde um usuário atrevido adicionou uma nota de aparência oficial incentivando outros a usar esse link “para economizar nossa largura de banda”.
É muito cedo para dizer que efeito o vazamento terá. O modelo como está é inutilizável para qualquer pessoa sem sérios conhecimentos técnicos e um computador extremamente robusto ou a vontade de queimar algumas centenas de libras em contas de armazenamento em nuvem. Também não está claro qual será a resposta da Meta. “É objetivo da Meta compartilhar modelos de IA de última geração com membros da comunidade de pesquisa para nos ajudar a avaliar e melhorar esses modelos”, disse um porta-voz da Meta. “O LLaMA foi compartilhado para fins de pesquisa, consistente com a forma como compartilhamos modelos de linguagem grandes anteriores. Embora o modelo não seja acessível a todos e alguns tenham tentado contornar o processo de aprovação, acreditamos que a atual estratégia de lançamento nos permite equilibrar responsabilidade e abertura”.
Isso deixa muito por dizer. Será que vai lançar advogados para o problema e tentar colocar o gênio de volta na garrafa, ou vai abraçar seu papel acidental como o desenvolvedor do que provavelmente se tornará rapidamente a IA mais amplamente implantada no mundo? Se for o último, poderemos ver em breve a mesma revolução nos LLMs que atingiu os geradores de imagens no verão passado. O Dall-E 2 foi lançado em maio passado, mostrando uma mudança radical na qualidade da geração de imagens de IA. (Reler a edição do TechScape sobre o lançamento é revelador de quão longe chegamos em tão pouco tempo.)
Mas o Dall-E era controlado pela OpenAI, assim como o ChatGPT, com acesso cuidadosamente controlado. As pessoas sabiam que algo grande estava acontecendo, mas eram limitadas em sua capacidade de experimentar a tecnologia, enquanto o OpenAI parecia um porteiro que colheria todo o lado comercial da criação.
Então, em agosto, Stability AI lançou Stable Diffusion. Basicamente financiado inteiramente pelas economias do ex-trader de fundos de hedge Emad Mostaque, o Stable Diffusion era de código aberto desde o primeiro dia. O que a Meta fez acidentalmente, a Stability AI fez de propósito, acreditando que teria uma chance melhor de sucesso no campo se vendesse serviços no modelo de uso gratuito, em vez de controlar o acesso a todo custo.
após a promoção do boletim informativo
OpenAI v IA aberta
Estamos na encruzilhada de dois futuros de IA muito diferentes. Em um deles, as empresas que investem bilhões em treinamento e aprimoramento desses modelos atuam como guardiãs, absorvendo uma parte da atividade econômica que possibilitam. Se você deseja construir um negócio em cima do ChatGPT, por exemplo, você pode – por um preço. Não é exorbitante, apenas US$ 2 para cada 700.000 palavras processadas. Mas é fácil ver como isso poderia um dia resultar em OpenAI recebendo uma pequena lasca de um centavo para cada palavra digitada em um computador.
Você pode pensar que nenhuma empresa abriria mão de tal vantagem, mas há uma fraqueza nesse mundo: é instável. Ser um gatekeeper só funciona enquanto houver uma cerca em torno do seu produto, e basta uma empresa decidir (voluntariamente ou não) disponibilizar algo quase tão bom gratuitamente para abrir um buraco nessa cerca para sempre.
O outro mundo é aquele em que os modelos de IA que definem a próxima década do setor de tecnologia estão disponíveis para qualquer um construir. Nesses mundos, alguns dos benefícios ainda vão para seus desenvolvedores, que estão em posição de vender seus conhecimentos e serviços, enquanto outros são aproveitados pelos provedores de infraestrutura. Mas com menos porteiros em jogo, os benefícios econômicos da revolta se espalham muito mais.
Há, é claro, uma desvantagem. Os porteiros não apenas extraem um pedágio – eles também mantêm guarda. As taxas de API da OpenAI não são um centro de lucro puro, porque a empresa se comprometeu a garantir que suas ferramentas sejam usadas com responsabilidade. Ele diz que fará o trabalho necessário para garantir que spammers e hackers sejam iniciados imediatamente e tem a capacidade de impor restrições ao ChatGPT que não fazem parte puramente do próprio modelo – para filtrar consultas e respostas, por exemplo.
Esses limites não existem para difusão estável, nem existirão para as instâncias piratas de LLaMA girando em todo o mundo esta semana. No mundo da geração de imagens, isso até agora significou pouco mais do que muito mais pornografia gerada por IA do que no mundo higienizado de Dall-E. Mas não vai demorar muito, eu acho, antes de vermos o valor dessas grades de proteção na prática. E então pode não ser apenas Meta tentando colocar o gênio de volta na garrafa.
Se você quiser ler a versão completa do boletim informativo, assine para receber o TechScape em sua caixa de entrada todas as terças-feiras.
.
