.
Nosso objetivo ao criar o grupo virtual de quatro pessoas MAVE: era criar personagens atraentes, cada um com uma aparência completamente nova que não existia em nenhum outro lugar do mundo. Para criar um personagem atraente, você não pode focar apenas na aparência; também deve incluir uma ampla gama de expressões faciais para diferentes situações. É por isso que nos concentramos em construir e desenvolver um pipeline e tecnologia para conseguir isso.
P: Ouvi dizer que você usou MetaHuman para criar seus personagens. Você pode explicar por quê?
Como mencionei, além de ter uma aparência atraente, é muito importante para um personagem atraente ter uma variedade de expressões faciais detalhadas para diferentes situações. No entanto, criar e modificar essas expressões faciais é uma tarefa demorada e cara, porque sempre envolve rigging e modelagem e requer revisões e verificações iterativas. É por isso que a tecnologia MetaHuman da Epic, que foi desenvolvida com a ajuda de décadas de experiência na criação de humanos digitais, foi a escolha perfeita. Foi uma parte crucial da construção do pipeline para nossos personagens.
Com o equipamento facial MetaHuman, conseguimos criar facilmente as expressões faciais que queríamos e compartilhar animações entre os personagens. Além disso, pudemos nos concentrar em P&D (por exemplo, melhoria do controle do equipamento) consultando o white paper Rig Logic: Runtime Evaluation of MetaHuman Face Rigs lançado pela Epic Games. Além disso, o alto nível de compatibilidade com ferramentas externas, como Audio2Face da NVIDIA, Live Link Face App para iPhone, Faceware e FACEGOOD nos permitiu aplicar animação MetaHuman e reduzir drasticamente o tempo real de produção compartilhando a topologia de malha subjacente, UV, articulação estrutura e controles.
P: Por que você escolheu o Unreal Engine junto com o MetaHuman?
Quando estávamos planejando o MAVE:, pensamos muito em como nosso projeto deveria ser posicionado e no tipo de atividades das quais gostaríamos que a banda virtual participasse. A produtividade de nosso conteúdo foi a consideração mais importante. Muita atividade significa muita produção de conteúdo, e isso exige eficiência na produção. Caso contrário, podemos ter que comprometer a qualidade visual. Portanto, escolhemos o Unreal Engine não apenas pela eficiência, mas também pela qualidade de renderização em tempo real. Usamos o Unreal Engine para estender os limites das atividades do MAVE: em várias áreas, incluindo a produção de um videoclipe transmídia em um curto espaço de tempo, atividades de mídia social e próximos programas de TV e comerciais.
A mídia social é um canal importante para se envolver e criar um vínculo e, para que isso aconteça, são necessárias várias formas e quantidades de conteúdo de alta qualidade. É por isso que escolhemos o Unreal Engine acima de outras ferramentas. Ao usar o Unreal Engine, conseguimos criar várias formas de conteúdo, incluindo imagens fotorrealistas e vídeos para envolver os fãs em várias plataformas sociais.
P: Que tipo de pipeline foi usado para criar cada personagem do MAVE:?
A equipe de criação do MAVE: é composta por indivíduos talentosos de diversas origens, como jogos e indústrias cinematográficas, o que significa que todos os membros da equipe usaram diferentes ferramentas DCC, dependendo de sua especialidade. Por exemplo, os membros da equipe da indústria de jogos têm uma boa compreensão da renderização em tempo real, enquanto os da indústria de M&E têm experiência em produção de mídia de vídeo, então construímos um pipeline especial para maximizar a sinergia entre cada membro da equipe.
O pipeline consiste em planejamento e criação de personagens. A criação do personagem é dividida em etapas detalhadas, como modelagem, criação e rigging de expressões faciais, criação de cabelo e calibração corporal.
O planejamento do personagem é o estágio em que a aparência de cada personagem é projetada. Este processo foi conduzido em estreita colaboração com os especialistas da Kakao Entertainment, que têm muita experiência no planejamento bem-sucedido de bandas de K-pop. No entanto, em bandas tradicionais de K-pop, os membros são selecionados de um grupo de trainees existente e sua aparência é completada com maquiagem e estilo. Mas para bandas virtuais, temos que criar humanos virtuais como uma pessoa completamente nova e atraente, não apenas em sua aparência, mas também com expressões faciais detalhadas, movimentos, padrões de fala e assim por diante.
Para preencher essa lacuna e fornecer um ambiente de trabalho o mais próximo possível do original da equipe de planejamento, a equipe de produção construiu um pipeline que usa uma rede GAN para gerar automaticamente imagens de destino e modificar ou combinar manualmente autovetores. Isso permitiu que a equipe de planejamento selecionasse um personagem existente e modificasse seus parâmetros para se adequar aos planos, em vez de ter que criar a aparência de um personagem do zero. A equipe de planejamento nos ajudou compartilhando suas idéias para a fórmula de uma banda de K-pop de sucesso que eles construíram ao longo dos anos.
.
