.
SAN FRANCISCO—Todos os anos, na Game Developers Conference, várias empresas concorrentes exibem sua mais recente tecnologia de captura de movimento, que transforma performances humanas em animações 3D que podem ser usadas em modelos do jogo. Normalmente, essas demonstrações técnicas envolvem muito hardware especializado para a captura de desempenho e uma boa quantidade de processamento de computador e ajustes manuais do artista para obter os dados resultantes em um estado pronto para o jogo.
A próxima ferramenta de animação facial MetaHuman da Epic parece destinada a revolucionar esse tipo de fluxo de trabalho intensivo em trabalho e tempo. Em uma demonstração impressionante na apresentação do palco State of Unreal de quarta-feira, a Epic exibiu o novo sistema de aprendizado de máquina, que precisou de apenas alguns minutos para gerar uma animação facial impressionantemente real, saltando de um vale misterioso a partir de um simples vídeo frontal feito em um iPhone.
O potencial para obter resultados rápidos e sofisticados desse tipo de entrada básica “mudou literalmente como [testers] trabalho ou o tipo de trabalho que eles podem assumir”, disse o vice-presidente de tecnologia digital da Epic, Vladimir Mastilovic, em um painel de discussão na tarde de quarta-feira.
Uma demonstração impressionante
A nova tecnologia de animação automática se baseia na ferramenta de modelagem MetaHuman da Epic, lançada em 2021 como uma forma de criar manualmente modelos humanos altamente detalhados no Unreal Engine 5. Desde esse lançamento, mais de 1 milhão de usuários criaram milhões de MetaHumans, disse a Epic, alguns de apenas alguns minutos de processamento em três fotos de um rosto humano.
O principal problema com esses MetaHumanos, como Mastilovic colocou no palco na manhã de quarta-feira, é que “ainda não foi fácil animá-los”. Mesmo estúdios habilidosos frequentemente precisam usar uma “captura 4D” detalhada de hardware especializado e “semanas ou meses de tempo de processamento” e ajustes humanos para obter animação utilizável em jogos, disse ele.
Assista à performance de Melina Juergens transformada em uma animação 3D incrivelmente precisa em apenas alguns minutos.
O MetaHuman Animator foi projetado para simplificar amplamente esse processo. Para demonstrar isso, a Epic contou com a artista performática da Ninja Theory, Melina Juergens, conhecida por seu papel como Senua no filme de 2017. Hellblade: Senua’s Sacrifice.
A performance de 15 segundos de Juergens no palco foi capturada em um iPhone padrão montado em um tripé na frente dela. O vídeo resultante dessa performance foi então processado em uma máquina AMD de ponta em menos de um minuto, criando uma animação 3D praticamente indistinguível do vídeo original.
A rapidez e a fidelidade do resultado arrancaram muitos aplausos dos desenvolvedores reunidos no Yerba Buena Center for the Arts e realmente é preciso ver para acreditar. Pequenos toques na performance de Juergens – de dentes à mostra a minúsculos tremores de boca e olhares de soslaio – são todos incorporados à animação de uma forma que a torna quase indistinguível do vídeo original. Mesmo os movimentos realistas da língua são extrapolados a partir do áudio capturado, usando um algoritmo “áudio para língua” que “é o que parece”, disse Mastilovic.
Além do mais, a Epic também mostrou como todos esses tiques faciais podem ser aplicados não apenas ao próprio modelo MetaHuman de Juergens, mas a qualquer modelo construído no mesmo padrão MetaHuman. Ver os movimentos e as palavras de Juergens saindo da boca de um personagem de desenho animado altamente estilizado, poucos minutos depois que ela os executou, foi impressionante, para dizer o mínimo.
A performance humana neste trailer “não foi polida ou editada de forma alguma e um animador MetaHuman levou apenas alguns minutos para processar, do início ao fim”.
A apresentação terminou com a estreia de um trailer focado na performance para o próximo Saga de Senua: Hellblade II. Esse trailer é ainda mais impressionante por Mastilovic dizer que a performance de captura de movimento de corpo inteiro de Juergens nele “não foi polida ou editada de forma alguma e levou apenas alguns minutos para um animador MetaHuman processar, do começo ao fim”.
.
