.
Negócio de armazenamento de dados em nuvem Snowflake lançou um serviço totalmente gerenciado projetado para livrar os desenvolvedores que criam LLMs em seus aplicativos da onerosa tarefa de criar a infraestrutura de suporte.
Atualmente em versão prévia privada, o pacote de serviços construído sob a marca Snowflake Cortex visa fornecer os blocos de construção para o emprego de grandes modelos de linguagem (LLMs) dentro de aplicativos baseados em dados, como detecção de anomalias.
O serviço vem na forma de funções sem servidor de aumento/redução de escala, que podem ser chamadas usando código SQL ou Python, ajudando os desenvolvedores a construir aplicativos sem exigir experiência em IA ou gerenciamento complexo de infraestrutura baseado em GPU, disse o fornecedor.
A Snowflake foi fundada em 2012 e foi um dos primeiros proponentes da separação do armazenamento da computação para criar um data warehouse e uma arquitetura analítica mais flexíveis. No final de 2020, foi lançado na Bolsa de Valores de Nova York, após o que a sua capitalização de mercado atingiu brevemente os espantosos 120 mil milhões de dólares. A gigante alimentícia norte-americana Kraft Heinz, o fornecedor automotivo europeu ABB e a empresa de seguros e pensões Axa são clientes.
Sridhar Ramaswamy, vice-presidente sênior de IA, nos disse que o Cortex hospeda um conjunto de modelos de linguagem e aprendizado de máquina comumente usados, incluindo o Llama do Meta, mas também os próprios modelos do Snowflake, como um LLM de texto para SQL definido para lançamento em visualização privada.
“Isso é ótimo para nossos usuários porque eles não precisam fazer nenhum provisionamento. Nós fazemos a implantação. Parece uma API, semelhante, digamos, ao que o OpenAI oferece, mas é executado diretamente no Snowflake Data Cloud”, ele disse.
Além de funções de uso geral, como texto para SQL, o serviço vem com um conjunto de funções específicas de tarefas voltadas para análise de sentimentos, resposta a perguntas, resumo de texto e tradução.
James Malone, diretor de gerenciamento de produtos da Snowflake, disse Strong The One que os serviços ajudariam os desenvolvedores a usar o aprendizado de máquina como parte de seus aplicativos. “Se quiser fazer análises preditivas, você pode fazer tudo isso por meio do Snowflake usando apenas funções simples. Você não precisa desenvolver um aplicativo de ML para criar algo como detecção de anomalias. Você chama uma rotina de detecção de anomalias diretamente em seu código. Nós Estamos tentando empacotar e trazer modelos GenAI e ML para usuários do Snowflake sem que eles precisem ser um desenvolvedor de ML.”
Mas os usuários podem querer ficar de olho no uso eficiente de recursos ao buscar LLMs da moda para resolver problemas já resolvidos por abordagens de ML mais diretas.
Alex Savage, chefe de análise digital da emissora ABS-CBN Corporation, disse em uma postagem no blog: “Devido aos seus algoritmos bem estabelecidos e requisitos de recursos menos intensivos, os modelos tradicionais de ML geralmente superam outros métodos em termos de velocidade e precisão. Eles fornecem uma base confiável para detecção de anomalias, identificando irregularidades com sobrecarga computacional mínima.”
Embora os LLMs possam oferecer compreensão de linguagem para previsão em tempo real em streaming de vídeo, por exemplo, as necessidades computacionais dos LLMs também devem ser consideradas.
“Em comparação com os modelos tradicionais de ML, eles normalmente consomem mais recursos, necessitando de um poder de processamento significativo para analisar e compreender a ‘linguagem’ dos dados de streaming”, disse ele.
A Snowflake pode ter tornado a análise de alto desempenho mais acessível e utilizável para uma nova geração de cientistas e desenvolvedores de dados por meio de sua plataforma Data Cloud, mas os críticos disseram que seu modelo de preços baseado no consumo também levou a custos inesperados.
Como resultado, a otimização voltou à moda. Em agosto, a plataforma de comércio eletrônico Instacart, um cliente proeminente da Snowflake, mostrou como seus pagamentos ao fornecedor de análise de dados estavam caindo ao longo dos anos.
A Snowflake foi forçada a explicar que havia trabalhado com a Instacart para “atender ao enorme crescimento da demanda da empresa e, em seguida, otimizar a eficiência. As otimizações são realizadas carga de trabalho por carga de trabalho e têm sido extremamente bem-sucedidas”.
Snowflake agora está lançando uma série de novos recursos de LLM e aprendizado de máquina – eles incluem novos modelos de LLM para sua biblioteca Python Streamlit – mas desta vez, os usuários podem ser mais cautelosos com o consumo antes de entrarem nesses serviços com os dois pés. ®
.
