.
A startup japonesa Sakana disse que sua IA gerou a primeira publicação científica revisada por pares. Mas, embora a reivindicação não seja falsa, há advertências significativas para observar.
O debate girando em torno da IA e seu papel no processo científico crescem mais ferozes a cada dia. Muitos pesquisadores não acreditam que a IA esteja pronta para servir como um “co-ciiente”, enquanto outros pensam que há potencial-mas reconhece que são os primeiros dias.
Sakana cai no último acampamento.
A empresa disse que usou um sistema de IA chamado IA Scientist-V2 para gerar um artigo que Sakana então enviou a um workshop na ICLR, uma conferência de IA de longa duração e respeitável. Sakana afirma que os organizadores do workshop, bem como a liderança da ICLR, haviam concordado em trabalhar com a empresa para conduzir um experimento para revisar duplo-cegas de manuscritos gerados pela AI.
Sakana disse que colaborou com pesquisadores da Universidade da Colúmbia Britânica e da Universidade de Oxford para enviar três artigos gerados pela IA para a mencionada oficina para revisão por pares. O cientista-V2 da IA gerou os artigos “de ponta a ponta”, afirma Sakana, incluindo as hipóteses científicas, experimentos e código experimental, análises de dados, visualizações, texto e títulos.
“Geramos idéias de pesquisa fornecendo o resumo e a descrição do workshop à IA”, disse Robert Lange, cientista de pesquisa e membro fundador da Sakana, ao Strong The One por e -mail. “Isso garantiu que os documentos gerados estivessem sobre o tópico e envios adequados”.
Um artigo dos três foi aceito na oficina do ICLR – um artigo que lança uma lente crítica sobre técnicas de treinamento para os modelos de IA. Sakana disse que retirou imediatamente o jornal antes de poder ser publicado no interesse da transparência e respeito pelas convenções da ICLR.
“O artigo aceito introduz um novo método promissor para o treinamento de redes neurais e mostra que há desafios empíricos restantes”, disse Lange. “Ele fornece um ponto de dados interessante para despertar mais investigação científica”.
Mas a conquista não é tão impressionante quanto parece à primeira vista.
Em uma postagem no blog, Sakana admite que sua IA ocasionalmente fez erros de citação “embaraçosos”, por exemplo, atribuindo incorretamente um método a um artigo de 2016 em vez do trabalho original de 1997.
O artigo de Sakana também não passou tanto do escrutínio quanto de outras publicações revisadas por pares. Como a empresa o retirou após a revisão inicial por pares, o artigo não recebeu uma “meta-revisão” adicional, durante a qual os organizadores do workshop poderiam ter rejeitado em teoria.
Depois, há o fato de que as taxas de aceitação para oficinas de conferência tendem a ser mais altas do que as taxas de aceitação para a principal “pista de conferência” – um fato que Sakana menciona abertamente em sua postagem no blog. A empresa disse que nenhum de seus estudos gerados pela IA aprovou sua barra interna para a publicação de faixas da ICLR Conference.
Matthew Guzdial, pesquisador de IA e professor assistente da Universidade de Alberta, chamou os resultados de Sakana de “um pouco enganosos”.
“O pessoal da Sakana selecionou os documentos de algum número de outros gerados, o que significa que eles estavam usando o julgamento humano em termos de escolher saídas que acham que poderiam entrar”, disse ele por e -mail. “O que eu acho que isso mostra é que os humanos mais a IA podem ser eficazes, não que a IA sozinha possa criar progresso científico”.
Mike Cook, pesquisador do King’s College London, especializado em IA, questionou o rigor dos revisores e workshop de pares.
“Novos workshops, como este, são frequentemente revisados por mais pesquisadores juniores”, disse ele ao Strong The One. “Também vale a pena notar que este workshop é sobre resultados e dificuldades negativas – o que é ótimo, já publiquei um workshop semelhante antes – mas é sem dúvida mais fácil conseguir uma IA escrever sobre um fracasso de forma convincente”.
Cook acrescentou que não ficou surpreso que uma IA possa passar pela revisão por pares, considerando que a IA se destaca em escrever prosa que soa humana. Parcialmente-AI gerado papéis A revisão da revista de passagem nem é nova, apontou Cook, nem os dilemas éticos que isso representa para as ciências.
As deficiências técnicas da IA - como sua tendência a alucinar – tornam muitos cientistas cautelosos de endossá -lo por um trabalho sério. Além disso, os especialistas temem que a IA possa simplesmente acabar gerando ruído na literatura científica, não elevando o progresso.
“Precisamos nos perguntar se [Sakana’s] O resultado é sobre o quão boa é a IA em projetar e conduzir experimentos, ou se é bom sobre a venda de idéias para os seres humanos – na qual sabemos que a IA já é ótima ”, disse Cook. “Há uma diferença entre a passagem de pares passantes e contribuir com conhecimento para um campo”.
Sakana, para seu crédito, não afirma que sua IA pode produzir um trabalho científico inovador – ou mesmo especialmente novo -. Em vez disso, o objetivo do experimento foi “estudar a qualidade da pesquisa gerada pela IA”, disse a empresa e destacar a necessidade urgente de “normas em relação à ciência gerada pela IA”.
““[T]Aqui estão questões difíceis sobre se [AI-generated] A ciência deve ser julgada por seus próprios méritos primeiro para evitar preconceitos contra ela ”, escreveu a empresa. “No futuro, continuaremos a trocar opiniões com a comunidade de pesquisa sobre o estado dessa tecnologia para garantir que ela não se desenvolva em uma situação no futuro em que seu único objetivo é passar na revisão por pares, minando substancialmente o significado do processo de revisão científica por pares”.
.
