.
Usar conjuntos de dados gerados por IA para treinar gerações futuras de modelos de aprendizado de máquina poderia poluir seus resultados, um conceito conhecido como colapso de modelo, de acordo com um artigo publicado na revista Nature.
A pesquisa mostra que, dentro de algumas gerações, o conteúdo original é substituído por bobagens irrelevantes, demonstrando a importância de usar dados confiáveis para treinar modelos de IA.
Ferramentas generativas de IA, como Large Language Models (LLM), ganharam popularidade e são treinadas principalmente com dados gerados por humanos.
No entanto, à medida que estes modelos de IA continuam a espalhar-se online, o conteúdo gerado por computador poderá ser utilizado para treinar outros modelos de IA – ou eles próprios – num ciclo recorrente.
Ilya Shumilov e colegas apresentam modelos matemáticos para ilustrar como os modelos de IA podem sofrer o colapso do modelo.
Os autores explicam que a IA pode ignorar certos resultados (por exemplo, linhas de texto menos comuns) nos dados de treinamento, resultando no treinamento apenas em uma parte do conjunto de dados.
Shumilov e seus colegas também investigaram como os modelos de IA responderam a um conjunto de dados de treinamento gerado principalmente por IA. Eles descobriram que alimentar o modelo com dados gerados por IA deteriora a capacidade de aprendizagem das gerações subsequentes, levando, em última análise, ao colapso do modelo.
Quase todos os modelos de linguagem frequentemente treinados e testados tendem a exibir frases repetidas. Por exemplo, foi feito um teste usando um texto sobre arquitetura medieval como entrada original e, na nona geração, o resultado foi uma lista de coelhos.
Os autores sugerem que o colapso do modelo é uma consequência inevitável dos modelos de IA que utilizam conjuntos de dados de treinamento criados por gerações anteriores.
Para treinar com sucesso uma IA usando seus próprios resultados, Shumilov e seus colegas sugerem que não é impossível treinar um modelo usando os dados que a IA gera, mas a filtragem desses dados deve ser levada a sério. Entretanto, as empresas tecnológicas que dependem de conteúdos gerados por seres humanos poderão ser capazes de treinar modelos de IA mais eficazes do que os seus concorrentes.
.
