.
Análise A Microsoft está perdendo até US$ 80 por mês por usuário em seus serviços GitHub Copilot.
De acordo com um relatório do Wall Street Journal citando uma “pessoa familiarizada com os números”, enquanto a Microsoft cobra US$ 10 por mês pelo serviço, a gigante do software está perdendo em média US$ 20 por mês por usuário e usuários mais pesados custam à empresa até US$ 80 a cada 30 dias.
Anunciado em 2022, Copilot do GitHub emprega Grandes modelos de linguagem (LLMs) da OpenAI para auxiliar os programadores enquanto eles escrevem e depuram código em IDEs, incluindo o Visual Studio Code da própria Microsoft. O Copilot essencialmente sugere fontes para incluir em seus projetos enquanto você digita comentários, definições de funções e código e outras linhas. Em março de 2023 a plataforma ganhou um atualizar aos modelos GPT-3.5 e GPT-4 da OpenAI.
Pedimos à Microsoft comentários sobre o custo de execução desses modelos de IA; avisaremos você se tivermos uma resposta.
Operar produtos com prejuízo é uma tática comum em toda a indústria de tecnologia, com o objetivo de construir uma base de usuários dedicados e aumentar os preços quando os usuários estiverem fisgados. Microsoft vende sua linha de consoles de jogos Xbox está abaixo do custo e recupera essa perda à medida que os jogadores gastam em software e outros conteúdos.
A mesma lógica poderia aplicar-se à IA – um mercado em que a Microsoft está a investir fortemente para garantir uma vantagem de ser pioneira.
Não é nenhum segredo que o hardware usado para treinar e executar a maioria dos LLMs é caro. Os aceleradores H100 da Nvidia são vendidos por cerca de US$ 30.000 cada, e nós visto eles custam US $ 40.000 no eBay.
Microsoft emprega dezenas de milhares de Nvidia A100s e H100s. Este hardware de IA e os servidores em que ele vive também consomem eletricidade.
É difícil calcular o custo das operações contínuas do Copilot, embora o CEO da OpenAI, Sam Altman, tenha afirmou O GPT-4 – a versão mais avançada do LLM da empresa – custou mais de US$ 100 milhões para treinar.
Uma maneira pela qual a Big Tech tentou controlar o custo da IA é com aceleradores personalizados, como a Unidade de Processamento Tensor do Google e o silício Trainium e Inferentia da Amazon. Agora, se um relatório Acredita-se que na semana passada a Microsoft pode estar prestes a revelar seu próprio acelerador de IA personalizado.
OpenAI é rumores considerar trabalhar em seu próprio processador personalizado para suas cargas de trabalho de ML também.
As atuais cargas de trabalho generativas de IA da Microsoft estão sendo executadas em GPUs, em grande parte devido aos requisitos de latência e largura de banda desses modelos, o que tornou impraticável executá-los em CPUs, disse Karl Freund, analista da Cambrian AI. Strong The One.
Como resultado, esses modelos se beneficiam mais de grandes quantidades de memória de alta largura de banda para armazenar todos os parâmetros do modelo. Para sistemas realmente grandes, como o modelo GPT-3 de 175 bilhões de parâmetros da OpenAI, várias GPUs podem ser necessárias por instância.
Mas é importante notar que o GitHub Copilot não é um chatbot de uso geral como o ChatGPT ou o Bing Chat: ele codifica. Pelo que entendemos, modelos mais especializados geralmente conseguem usar menos parâmetros e, portanto, exigir menos memória e, portanto, menos GPUs.
À medida que os fornecedores de IA compreendem melhor as economias de escala envolvidas, poderemos ver preços mais elevados para estas funcionalidades. Otter.AI, um serviço de transcrição de áudio baseado em IA, adorado por jornalistas e outros, preços aumentados e implementou novos limites de consumo em vários ocasiões ao longo dos últimos anos.
Enquanto isso, a Microsoft e o Google planejam cobrar um prêmio de US$ 30 além do valor normal. Escritório 365 assinatura e G-Suite planeja desbloquear a funcionalidade gen-AI.
Não seria surpreendente se a Microsoft aumentasse o preço do GitHub Copilot depois de demonstrar seu valor para um número suficiente de clientes. Afinal, não é uma instituição de caridade. ®
.
