.
Há uma controvérsia que se aproxima dos estudos “gerados pela IA” à ICLR deste ano, uma conferência acadêmica de longa duração focada na IA.
Pelo menos três laboratórios de IA – BloquearAssim, INTOLOGIAe Autociência – Afirmação de ter usado a IA para gerar estudos que foram aceitos nas oficinas da ICLR. Em conferências como o ICLR, os organizadores do workshop normalmente revisam estudos para publicação na faixa de oficina da conferência.
A Sakana informou os líderes da ICLR antes de enviar seus artigos gerados pela IA e obtiveram o consentimento dos revisores de pares. Os outros dois laboratórios – Intologia e Autociência – não, um porta -voz da ICLR confirmou ao Strong The One.
Vários acadêmicos de IA foram às mídias sociais para criticar as acrobacias de inteologia e autociência como uma cooptação do processo científico de revisão por pares.
“Todos esses trabalhos de cientistas da IA estão usando locais revisados por pares como Evalas Humanos, mas ninguém consentiu em fornecer esse trabalho livre”, escreveu Prithviraj Ammanabrolu, professor assistente de ciência da computação da UC San Diego, em um x post. “Isso me faz perder o respeito por todos os envolvidos, independentemente de quão impressionante o sistema seja.
Como observou os críticos, a revisão por pares é uma provação demorada, intensiva em mão-de-obra e principalmente voluntária. De acordo com uma pesquisa de natureza recente40% dos acadêmicos passam duas a quatro horas revisando um único estudo. Esse trabalho está aumentando. O número de trabalhos submetidos à maior conferência de IA, Neurips, cresceu para 17.491 no ano passado, um aumento de 41% em 12.345 em 2023.
A academia já tinha um problema de cópia gerado pela IA. Uma análise encontrado que entre 6,5% e 16,9% dos trabalhos submetidos a conferências de IA em 2023 provavelmente continham texto sintético. Mas as empresas de IA que usam a revisão por pares para comparar efetivamente e anunciar sua tecnologia são uma ocorrência relativamente nova.
““[Intology’s] Artigos receberam críticas unanimemente positivas ”, escreveu a inteologia em um Postagem em x Provocando seus resultados do ICLR. No mesmo post, a empresa continuou afirmando que os revisores do workshop elogiaram um dos seus estudos gerados pela IA, “Ideia inteligente[s]. ”
Os acadêmicos não pareciam gentilmente nisso.
Ashwinee Panda, um pós -doutorado na Universidade de Maryland, disse em um X Post O fato de enviar documentos gerados pela IA sem dar aos organizadores do workshop o direito de recusá-los, mostrou uma “falta de respeito pelo tempo dos revisores humanos”.
“Sakana estendeu a mão perguntando se estaríamos dispostos a participar de seu experimento para o workshop que estou organizando no ICLR”, acrescentou Panda, “e eu (nós) dissemos que não […] Eu acho que enviar documentos de IA para um local sem entrar em contato com o [reviewers] é ruim. ”
Não é de nada, muitos pesquisadores são céticos de que os artigos gerados pela IA valem o esforço de revisão por pares.
A própria Sakana admitiu que sua IA cometeu erros de citação “embaraçosa” e que apenas um dos três trabalhos gerados pela IA que a empresa optou por apresentar teria encontrado o bar para aceitação da conferência. A Sakana retirou seu artigo da ICLR antes que ele pudesse ser publicado no interesse da transparência e respeito pela convenção da ICLR, informou a empresa.
Alexander Doria, co-fundadora da Startup de IA Pleias, disse que a jangada de submissões Surrenhéticas ICLR sintéticas apontou para a necessidade de uma “empresa regulamentada/agência pública” para realizar avaliações de estudo geradas pela AI “de alta qualidade” por um preço.
“Evals [should be] feito por pesquisadores compensados totalmente por seu tempo ”, disse Doria em um série de postagens em X. “A academia não está lá para terceirizar grátis [AI] Evals. ”
.
