.
Comente A Casa Branca quer saber quem está implantando clusters de computação de IA e treinando grandes modelos de linguagem – mas por enquanto apenas os realmente grandes.
Em um ordem executiva assinado esta semana, o presidente dos EUA, Joe Biden, expôs sua agenda para garantir o desenvolvimento seguro e produtivo das tecnologias de IA.
Entre as diretivas estava a exigência de que os operadores de clusters e modelos de computação de IA que excedessem certos limites informassem ao Tio Sam o que eles executam e onde o executam. Uma análise mais detalhada dos detalhes desse requisito sugere que apenas as maiores empresas de BC e fornecedores de infraestrutura serão obrigadas a detalhar as suas atividades.
A administração quer saber sobre o desenvolvimento de potenciais modelos de base de dupla utilização, quais medidas de segurança estão sendo tomadas para protegê-los e quais etapas estão sendo adotadas para evitar o uso indevido. Uso duplo, o que significa que as redes neurais podem ser usadas em aplicações civis pacíficas e militares não pacíficas.
A Casa Branca também quer saber quais empresas possuem, planejam possuir ou estão em processo de construção de clusters de IA em grande escala, além da escala do poder computacional implantado e da localização das instalações.
Uma olhada nos números
Até agora, a Casa Branca apenas estabeleceu limites provisórios que desencadeiam obrigações de apresentação de relatórios.
É necessário relatar qualquer modelo treinado usando mais de 1026 total de operações inteiras ou de ponto flutuante ou mais de 1023 operações de ponto flutuante para dados de sequência biológica.
A segunda define um limite para clusters de computação localizados em um único datacenter e conectados em rede a mais de 100 Gb/s. Instalações superiores a 1020 Os FLOPS da capacidade de formação em IA nesse segundo caso estarão sujeitos a regras de comunicação.
Esses 1020 O número de FLOPS se traduz em 100 exaFLOPS, o que é muito para um datacenter. Enquanto isso, o 1026 O número é o número cumulativo de operações usadas para treinar um modelo durante um período de tempo e seria equivalente a um total de 100 milhões de quintilhões de operações de ponto flutuante.
Pesquisadores da Universidade da Califórnia, Berkeley estimativa O GPT-3 da OpenAI exigia cerca de 3,1 x 1023 operações de computação de ponto flutuante para treinar o modelo completo de 175 bilhões de parâmetros.
Isso está bem abaixo do limite de relatórios da Casa Branca para um único modelo, embora os GPTs sejam exatamente o tipo de IA com a qual o governo afirma se preocupar.
“O consenso comum parece ser que muito poucas entidades estarão sujeitas a isso”, disse Lydia Clougherty Jones, analista do Gartner. Strong The One.
“Quando você está criando uma categoria, você tem uma noção de quantos podem se enquadrar em uma categoria, e às vezes eles são tão amplos que nem sequer é uma categoria, é quase todo mundo. .”
Pela nossa estimativa, os modelos individuais que atendem ao limite de relatórios da administração empregariam um cluster de 10.000 Nvidia H100s rodando com sua menor precisão e esparsidade por cerca de um mês. No entanto, muitos modelos populares de linguagem grande, como o GPT-3, foram treinados com maior precisão, o que muda um pouco a matemática. Usando o FP32, esse mesmo cluster precisaria ser executado por 7,5 meses para atingir esse limite.
O requisito de relatórios para datacenters de IA é igualmente surpreendente, chegando a 100 exaFLOPs. Note-se que nenhuma das regras aborda se esses limites são para cálculos do 8.º PQ ou do 64.º PQ. Como já fizemos anteriormente discutido 1 exaFLOPS no FP64 não é o mesmo que 1 exaFLOPS no FP32 ou FP8. O contexto é importante.
Voltando ao H100, você precisaria de uma instalação com cerca de 25.000 GPUs Nvidia – cada uma boa para 3.958 teraFLOPS de desempenho esparso de FP8, para atender aos requisitos de relatórios. No entanto, se você implantou algo como o Instinct MI250X da AMD, que não oferece suporte ao FP8, você precisaria de 261.097 GPUs antes que a administração Biden queira que você preencha a papelada de relatórios.
Strong The One está ciente das implantações do H100 nessa escala. A operadora de nuvem centrada em GPU CoreWeave implantou cerca de 22.000 H100s. A startup de infraestrutura de IA Voltage Park planeja implantar 24.000 H100. No entanto, nenhuma das equipes coloca todas as suas GPUs em um único datacenter, portanto, não pode exceder o limite de relatórios.
Requisitos de relatórios mais precisos estão a caminho. O Secretário do Comércio dos EUA foi instruído a trabalhar com os Secretários de Estado, Defesa e Energia, bem como com o Director de Inteligência Nacional para definir e actualizar regularmente as regras de reporte sobre quais os sistemas e modelos que terão de ser reportados ao Governo. Esse grupo teve 90 dias para entregar seu primeiro conjunto de regras.
Esta é a administração Biden efetivamente dizendo: “Queremos impor algo hoje, mas precisamos de 90 dias para descobrir exatamente quais deveriam ser essas condições técnicas”, disse Clougherty Jones, do Gartner.
Em qualquer caso, esperamos que o número de organizações que terão de reportar o desenvolvimento dos seus modelos e a construção de infraestruturas de IA ao Tio Sam ao abrigo das regras provisórias seja muito pequeno. ®
Nota de inicialização
Falando em aprendizado de máquina e regulamentações, OpenAI, Google DeepMind, Amazon, Microsoft, Anthropic, Mistral e Meta na quinta-feira assinado um acordo não vinculativo com o Reino Unido, América, Singapura, Austrália, Canadá, UE, Japão e outros (não a China). Nesse pacto, as empresas prometeram testar os seus poderosos modelos de BC para a segurança nacional e outros riscos antes de os divulgarem para o resto do mundo.
Foi assinado durante o AI Summit que acontece no Reino Unido esta semana.
.
