.
Anime, a arte japonesa da animação, compreende esboços desenhados à mão de forma abstrata com características únicas e exageros de assuntos da vida real. Embora a inteligência artificial generativa (IA) tenha encontrado uso na criação de conteúdo, como retratos de anime, seu uso para aumentar a criatividade humana e guiar desenhos à mão livre é um desafio. O principal desafio reside na geração de imagens de referência adequadas correspondentes aos traços incompletos e abstratos feitos durante o processo de desenho à mão livre. Isso é particularmente verdadeiro quando os traços criados durante o processo de desenho estão incompletos e oferecem informações insuficientes para a IA generativa prever a forma final do desenho.
Para resolver esse problema, uma equipe de pesquisa do Instituto Avançado de Ciência e Tecnologia do Japão (JAIST) e da Universidade de Waseda, no Japão, procurou desenvolver uma nova ferramenta de IA generativa que oferece assistência de desenho progressivo e ajuda a gerar retratos de anime a partir de esboços à mão livre. A ferramenta é baseada em uma estrutura de aprendizado profundo de esboço para imagem (S2I) que combina esboços brutos com vetores latentes do modelo generativo. Ele emprega uma estratégia de treinamento em dois estágios por meio da rede pré-treinada Style Generative Adversarial Network (StyleGAN) – um modelo generativo de última geração que usa redes adversárias para gerar novas imagens.
A equipe, liderada pelo Dr. Zhengyu Huang do JAIST, incluindo o Professor Associado Haoran Xie e o Professor Kazunori Miyata, e o Professor Tsukasa Fukusato da Universidade de Waseda propuseram um novo “desembaraçamento no nível do traço”, uma estratégia que associa traços de entrada de um esboço à mão livre com atributos relacionados à borda, no código estrutural latente do StyleGAN. Essa abordagem permite que os usuários manipulem os parâmetros dos atributos, tendo assim maior autonomia sobre as propriedades das imagens geradas. Dr. Huang diz: “Introduzimos uma estratégia de treinamento não supervisionado para desemaranhamento em nível de traço no StyleGAN, que permite a correspondência automática de esboços grosseiros com traços esparsos com as partes locais correspondentes em retratos de anime, tudo sem a necessidade de rótulos semânticos.”
Este estudo será apresentado no ACM SIGGRAPH 2023, a principal conferência de computação gráfica e técnicas interativas e a única conferência CORE de classificação A* nas áreas de pesquisa em todo o mundo.
Com relação ao desenvolvimento da ferramenta, o Prof. Xie acrescenta: “Primeiro treinamos um codificador de imagem usando um modelo StyleGAN pré-treinado como codificador do professor. Na segunda etapa, simulamos o processo de desenho das imagens geradas sem dados adicionais para treinar o codificador de esboço para esboços progressivos incompletos. Isso nos ajudou a gerar imagens de retrato de alta qualidade que se alinham com as representações desemaranhadas do codificador do professor.”
Para destacar ainda mais a eficácia e a usabilidade do AniFaceDrawing em ajudar os usuários na criação de retratos de anime, a equipe realizou um estudo com usuários. Eles convidaram 15 alunos de pós-graduação para desenhar retratos digitais à mão livre no estilo anime usando a ferramenta AniFaceDrawing, com a opção de alternar entre os modos de orientação aproximada e detalhada para arte de linha. Enquanto o primeiro fornecia prompts para partes faciais específicas, o segundo fornecia prompts para o retrato de rosto inteiro com base no progresso do desenho do usuário. Os participantes poderiam fixar a orientação gerada assim que correspondesse às suas expectativas e refinar ainda mais seu esboço de entrada. Essa ferramenta também permitiu que os participantes selecionassem uma imagem de referência para gerar um retrato colorido de seu esboço de entrada. Em seguida, eles avaliaram a ferramenta para satisfação do usuário e correspondência de orientações por meio de uma pesquisa.
A equipe observou que o sistema fornecia consistentemente orientação facial de alta qualidade e efetivamente suportava a criação de retratos no estilo anime, não apenas aprimorando os esboços do usuário, mas também gerando imagens coloridas correspondentes desejáveis. Prof. “
“Nossa estrutura de IA generativa permite que os usuários, independentemente de seu nível de habilidade e experiência, criem retratos de anime profissionais, mesmo a partir de desenhos incompletos. esboços iniciais são”, resume o Prof. Miyata.
A longo prazo, essas descobertas podem ajudar a democratizar a tecnologia de IA e auxiliar os usuários em tarefas criativas, aumentando assim sua capacidade criativa sem barreiras tecnológicas.
.
