.
Apenas algumas semanas depois que o fabricante de chips Tenstorrent levantou quase US $ 700 milhões em financiamento, os desenvolvedores podem agora experimentar Aceleradores de IA de Tenstorrent em Koyeb. A Tenstorrent vende processadores de IA construídos em torno da arquitetura do conjunto de instruções RISC-V e desenvolveu sua própria biblioteca de rede neural de código aberto, TT-NN e modelo de programação de baixo nível de código aberto, TT-Metalium.
A Tenstorrent faz parte de um grupo de empresas que tentam criar alternativas às GPUs da NVIDIA e à biblioteca CUDA da empresa. Competa com Axelera, gravada, Groq e outros.
A Koyeb foi fundada por ex -executivos do Scaleway e se concentra no desenvolvimento de uma plataforma em nuvem sem servidor para desenvolvedores que procuram uma camada de abstração no nível da infraestrutura em nuvem. Competa com pessoas como Fly.ioAssim, Ferrovia e Renderizar.
O Koyeb permite que os desenvolvedores implantem aplicativos em várias máquinas virtuais usando uma interface de linha de comando ou um impulso Git após a integração do repositório de código. Ele suporta recipientes do Docker e muitos idiomas populares.
Um dos principais recursos do Koyeb é que ele pode dimensionar automaticamente um aplicativo para centenas de servidores, se necessário, e quando houver menos tráfego, ele pode reduzir automaticamente a infraestrutura do servidor.
Nos últimos meses, o Koyeb tem se concentrado especificamente nos aplicativos de IA. Devido à natureza sem servidor de sua plataforma, ela pode oferecer uma experiência de baixa latência para cargas de trabalho de IA.
Na frente do hardware, a Koyeb implantou as placas PCIE da TenStorrent em seus data centers. Os desenvolvedores podem acessar o SDK TT-Metalium de baixo nível da Tenstorrent para escrever programas de host e kernel.
Os desenvolvedores encontrarão dois novos tipos de instâncias nos painéis de documentação e administração de Koyeb:
- A instância TT-N300S possui 24 GB de memória GDDR6, 192 MB de SRAM, e fornece até 466 fp8 Tflops. Está emparelhado com 64 GB de RAM e 4 vcpus.
- A instância do TT-LoudBox possui quatro N300s. Os desenvolvedores recebem 96 GB de GDDR6, 768 MB de SRAM e até 1.864 fp8 Tflops. Possui 256 GB de RAM e 16 vcpus.
Com esta versão, o Koyeb está tentando se posicionar como uma plataforma em nuvem agnóstica de hardware. “Isso nos lembra a estréia da ARM no mercado de servidores com chips de alto desempenho”, disse o co-fundador e CEO da Koyeb à Strong The One.
“Desde que introduzimos o ARM no mercado com o Scaleway nos dias, oferecendo servidores totalmente personalizados em 2013-2014, temos a experiência de implantar várias arquiteturas e operar diversos hardware”, acrescentou.
Quanto a Tenstorrent, o fabricante de chips de IA está procurando parceiros para construir um ecossistema de desenvolvedor em torno de seu Modelo de programação de código aberto. Será necessário uma vila para oferecer uma alternativa à pilha de IA da Nvidia.
.
