.
ChatGPT e outros modelos generativos profundos estão provando ser imitadores misteriosos. Esses supermodelos de IA podem produzir poemas, terminar sinfonias e criar novos vídeos e imagens aprendendo automaticamente com milhões de exemplos de trabalhos anteriores. Essas ferramentas extremamente poderosas e versáteis são excelentes na geração de novos conteúdos que se assemelham a tudo o que já viram antes.
Mas, como dizem os engenheiros do MIT num novo estudo, a semelhança não é suficiente se quisermos realmente inovar nas tarefas de engenharia.
“Os modelos generativos profundos (DGMs) são muito promissores, mas também inerentemente falhos”, diz o autor do estudo Lyle Regenwetter, estudante de graduação em engenharia mecânica no MIT. “O objetivo desses modelos é imitar um conjunto de dados. Mas, como engenheiros e designers, muitas vezes não queremos criar um design que já esteja disponível.”
Ele e os seus colegas argumentam que se os engenheiros mecânicos quiserem a ajuda da IA para gerar novas ideias e designs, terão primeiro de reorientar esses modelos para além da “semelhança estatística”.
“O desempenho de muitos desses modelos está explicitamente ligado ao quão estatisticamente semelhante é uma amostra gerada com o que o modelo já viu”, diz o coautor Faez Ahmed, professor assistente de engenharia mecânica no MIT. “Mas no design, ser diferente pode ser importante se você quiser inovar.”
Em seu estudo, Ahmed e Regenwetter revelam as armadilhas dos modelos generativos profundos quando têm a tarefa de resolver problemas de projeto de engenharia. Num estudo de caso de design de quadros de bicicletas, a equipa mostra que estes modelos acabam por gerar novos quadros que imitam designs anteriores, mas falham no desempenho e nos requisitos de engenharia.
Quando os pesquisadores apresentaram aos DGMs o mesmo problema de quadro de bicicleta que eles projetaram especificamente com objetivos focados na engenharia, em vez de apenas similaridade estatística, esses modelos produziram quadros mais inovadores e de maior desempenho.
Os resultados da equipe mostram que os modelos de IA focados em similaridade não funcionam bem quando aplicados a problemas de engenharia. Mas, como os investigadores também destacam no seu estudo, com algum planeamento cuidadoso de métricas apropriadas às tarefas, os modelos de IA podem ser um “co-piloto” de design eficaz.
“Trata-se de como a IA pode ajudar os engenheiros a serem melhores e mais rápidos na criação de produtos inovadores”, diz Ahmed. “Para fazer isso, primeiro temos que entender os requisitos. Este é um passo nessa direção.”
O novo estudo da equipe apareceu recentemente online e estará na edição impressa de dezembro da revista Design Assistido por Computador. A pesquisa é uma colaboração entre cientistas da computação do MIT-IBM Watson AI Lab e engenheiros mecânicos do DeCoDe Lab do MIT. Os coautores do estudo incluem Akash Srivastava e Dan Gutreund do MIT-IBM Watson AI Lab.
Enquadrando um problema
Como escrevem Ahmed e Regenwetter, os DGMs são “aprendizes poderosos, ostentando uma capacidade incomparável” para processar enormes quantidades de dados. DGM é um termo amplo para qualquer modelo de aprendizado de máquina treinado para aprender a distribuição de dados e depois usá-los para gerar conteúdo novo e estatisticamente semelhante. O imensamente popular ChatGPT é um tipo de modelo generativo profundo conhecido como modelo de linguagem grande, ou LLM, que incorpora recursos de processamento de linguagem natural no modelo para permitir que o aplicativo gere imagens e fala realistas em resposta a consultas de conversação. Outros modelos populares para geração de imagens incluem DALL-E e Stable Diffusion.
Devido à sua capacidade de aprender com os dados e gerar amostras realistas, os DGMs têm sido cada vez mais aplicados em vários domínios da engenharia. Os projetistas usaram modelos generativos profundos para desenhar novas estruturas de aeronaves, projetos de metamateriais e geometrias ideais para pontes e carros. Mas na maior parte, os modelos imitaram os designs existentes, sem melhorar o desempenho dos designs existentes.
“Os designers que trabalham com DGMs estão perdendo a cereja do bolo, que é ajustar o objetivo de treinamento do modelo para focar nos requisitos de design”, diz Regenwetter. “Assim, as pessoas acabam gerando designs muito semelhantes ao conjunto de dados”.
No novo estudo, ele descreve as principais armadilhas na aplicação de DGMs a tarefas de engenharia e mostra que o objetivo fundamental dos DGMs padrão não leva em consideração requisitos específicos de projeto. Para ilustrar isto, a equipa invoca um caso simples de design de quadro de bicicleta e demonstra que os problemas podem surgir já na fase inicial de aprendizagem. À medida que um modelo aprende com milhares de quadros de bicicletas existentes de vários tamanhos e formatos, ele pode considerar que dois quadros de dimensões semelhantes têm desempenho semelhante, quando na verdade há uma pequena desconexão em um quadro – pequena demais para ser registrada como uma diferença significativa nas estatísticas. métricas de similaridade – tornam o quadro muito mais fraco que o outro quadro visualmente semelhante.
Além da “baunilha”
Os pesquisadores levaram adiante o exemplo da bicicleta para ver quais projetos um DGM realmente geraria depois de aprender com os projetos existentes. Eles primeiro testaram uma rede adversária generativa convencional, ou GAN – um modelo que tem sido amplamente utilizado na síntese de imagens e textos e é ajustado simplesmente para gerar conteúdo estatisticamente semelhante. Eles treinaram o modelo em um conjunto de dados de milhares de quadros de bicicletas, incluindo designs fabricados comercialmente e quadros únicos menos convencionais projetados por amadores.
Depois que o modelo aprendeu com os dados, os pesquisadores pediram que ele gerasse centenas de novos quadros de bicicletas. O modelo produziu designs realistas que lembravam molduras existentes. Mas nenhum dos projetos mostrou melhoria significativa no desempenho, e alguns eram até um pouco inferiores, com estruturas mais pesadas e menos estruturalmente sólidas.
A equipe realizou então o mesmo teste com outros dois DGMs projetados especificamente para tarefas de engenharia. O primeiro modelo é aquele que Ahmed desenvolveu anteriormente para gerar projetos de aerofólios de alto desempenho. Ele construiu esse modelo para priorizar a similaridade estatística, bem como o desempenho funcional. Quando aplicado à tarefa de quadro de bicicleta, este modelo gerou designs realistas que também eram mais leves e resistentes do que os designs existentes. Mas também produziu quadros fisicamente “inválidos”, com componentes que não se encaixavam ou se sobrepunham de maneiras fisicamente impossíveis.
“Vimos projetos que eram significativamente melhores que o conjunto de dados, mas também projetos que eram geometricamente incompatíveis porque o modelo não estava focado em atender às restrições de projeto”, diz Regenwetter.
O último modelo testado pela equipe foi aquele que Regenwetter construiu para gerar novas estruturas geométricas. Este modelo foi desenhado com as mesmas prioridades dos modelos anteriores, com o ingrediente adicional de restrições de projeto, e priorizando pórticos fisicamente viáveis, por exemplo, sem desconexões ou barras sobrepostas. Este último modelo produziu os projetos de maior desempenho, que também eram fisicamente viáveis.
“Descobrimos que quando um modelo vai além da similaridade estatística, ele pode apresentar designs melhores do que os que já existem”, diz Ahmed. “É uma prova do que a IA pode fazer, se for explicitamente treinada em uma tarefa de design”.
Por exemplo, se os DGM puderem ser construídos com outras prioridades, como desempenho, restrições de design e novidade, Ahmed prevê que “numerosos campos de engenharia, como design molecular e infraestrutura civil, seriam muito beneficiados. Ao lançar luz sobre as armadilhas potenciais de confiar unicamente com base na similaridade estatística, esperamos inspirar novos caminhos e estratégias em aplicações generativas de IA fora da multimídia.”
.
