.
Um pesquisador de políticas ex-empreendimentos de alto nível, Miles Brundage, levou para a mídia social na quarta -feira, para criticar o OpenAI por “reescrever a história” de sua abordagem de implantação para sistemas de IA potencialmente arriscados.
No início desta semana, o OpenAI publicou um documento descrevendo sua filosofia atual sobre segurança e alinhamento da IA, o processo de projetar sistemas de IA que se comportam de maneiras desejáveis e explicáveis. No documento, o OpenAI disse que vê o desenvolvimento da AGI, amplamente definida como sistemas de IA que podem executar qualquer tarefa que um humano possa, como um “caminho contínuo” que requer “implantar e aprender iterativamente” das tecnologias de IA.
“Em um mundo descontínuo […] As aulas de segurança vêm do tratar os sistemas de hoje com cautela enorme em relação ao seu aparente poder, [which] é a abordagem que adotamos [our AI model] GPT -2 ”, escreveu Openai. “Agora vemos o primeiro AGI como apenas um ponto ao longo de uma série de sistemas de crescente utilidade […] No mundo contínuo, a maneira de tornar o próximo sistema seguro e benéfico é aprender com o sistema atual. ”
Mas a Brundage afirma que o GPT-2, de fato, justificou a abundante cautela no momento de seu lançamento, e que isso foi “100% consistente” com a estratégia de implantação iterativa do Openai hoje.
“O lançamento do GPT-2 pelo Openai, em que eu estava envolvido, foi 100% consistente [with and] prenunciou a filosofia atual da implantação iterativa do OpenAi, ”Brundage escreveu em um post em x. “O modelo foi lançado de forma incremental, com as lições compartilhadas em cada etapa. Muitos especialistas em segurança na época nos agradeceram por essa cautela. ”
Brundage, que ingressou no Openai como cientista de pesquisa em 2018, foi o chefe de pesquisa de políticas da empresa por vários anos. Na equipe “AGI prontidão” do OpenAI, ele teve um foco particular na implantação responsável de sistemas de geração de idiomas, como a plataforma AI Chatbot da OpenAI, chatgpt.
O GPT-2, que o OpenAI anunciou em 2019, foi um progenitor dos sistemas de IA que alimentavam o chatgpt. O GPT-2 pode responder a perguntas sobre um tópico, resumir artigos e gerar texto em um nível às vezes indistinguível do dos humanos.
Embora o GPT-2 e seus resultados possam parecer básicos hoje, eles estavam de ponta na época. Citando o risco de uso malicioso, o OpenAI se recusou inicialmente a liberar o código-fonte do GPT-2, optando em vez de dar acesso limitado de lojas selecionadas a uma demonstração.
A decisão foi recebida com críticas mistas da indústria de IA. Muitos especialistas argumentaram que a ameaça representada pelo GPT-2 havia sido exageradoe que não havia nenhuma evidência de que o modelo pudesse ser abusado da maneira que o Openai descreveu. Publicação focada na IA, o gradiente chegou ao ponto de publicar um carta aberta Solicitando que o OpenAI libere o modelo, argumentando que era tecnologicamente importante demais para se segurar.
O OpenAI acabou lançando uma versão parcial do GPT-2 seis meses após a revelação do modelo, seguida pelo sistema completo vários meses depois disso. Brundage acha que essa foi a abordagem certa.
“Que parte de [the GPT-2 release] foi motivado ou premisionado em pensar em AGI como descontínuo? Nada disso “, disse ele em um post sobre X.” Qual é a evidência de que essa cautela foi “desproporcional” ex ante? Ex post, é provavelmente. teria sido bom, mas isso não significa que foi responsável por YOLO [sic] dadas informações na época. ”
Brundage teme que o objetivo do OpenAi com o documento seja estabelecer um ônus da prova em que “preocupações são alarmistas” e “você precisa de evidências esmagadoras de perigos iminentes para agir sobre eles”. Isso, ele argumenta, é uma mentalidade “muito perigosa” para sistemas avançados de IA.
“Se eu ainda estivesse trabalhando no Openai, estaria perguntando por que isso [document] foi escrito do jeito que estava, e o que exatamente o Openai espera alcançar, com cautela de cocô de maneira tão lop-lateral ”, acrescentou Brundage.
Openi tem sido historicamente acusado de priorizar “produtos brilhantes” à custa da segurança e de lançamentos de produtos apressados vencer as empresas rivais ao mercado. No ano passado, a OpenAI dissolveu sua equipe de prontidão AGI e uma série de pesquisadores de segurança e políticas de IA deixaram a empresa para rivais.
As pressões competitivas só aumentaram. A AI Lab Chinese Deepseek chamou a atenção do mundo com seu modelo R1 aberto, que correspondeu ao modelo de “raciocínio” da OpenAI em vários benchmarks importantes. O CEO da OpenAI, Sam Altman disse que o OpenAI “puxaria alguns lançamentos” para competir melhor.
Há muito dinheiro em jogo. OpenAI perde bilhões anualmente, e a empresa tem segundo Projetou que suas perdas anuais poderiam triplicar para US $ 14 bilhões até 2026. Um ciclo de liberação de produtos mais rápido poderia beneficiar a linha de fundo do OpenAI a curto prazo, mas possivelmente às custas de segurança a longo prazo. Especialistas como o Brundage questionam se o trade-off vale a pena.
.
