.
“Na hora de criar ambientes, o Lumen foi crucial”, explica Aurelien. “Com ele, conseguimos trabalhar a iluminação em tempo real, sem gastar muitos recursos de hardware. Junto com Niagara, que usamos para partículas como chuva, sabíamos que poderíamos gerar uma renderização que correspondesse exatamente ao que vimos em nossa interface do usuário em apenas alguns segundos.”
A última etapa foi executar a saída do Unreal Engine por meio de três algoritmos de IA separados para criar o estilo Otomo final, dependendo da cena necessária. O primeiro algoritmo permitiu que os artistas de Sagan descrevessem o estilo da cena em texto e depois a visualizassem como um vídeo. O segundo algoritmo pegou uma imagem de referência para produzir um vídeo animado, enquanto o algoritmo final transformou o filme live-action em um resultado animado estilizado.
“Usamos nosso algoritmo de conversão de texto em vídeo na maioria das tomadas”, acrescenta Aurelien. “Para isso, usamos o Disco Diffusion 5 para ajudar a gerar quadros individuais, que o algoritmo transformou em vídeo. Tínhamos que garantir que nosso texto fosse extremamente detalhado, descrevendo o estilo e preenchendo as lacunas: se você não está mencionando o céu, a máquina pode simplesmente esquecer que deve haver um céu no topo da cidade. Assim que obtivermos um bom primeiro quadro, garantiríamos que havia descrição suficiente para gerar os próximos quadros, dependendo dos movimentos da câmera que desejávamos e, em seguida, verificaríamos a renderização uma última vez no 20º quadro.”
.
