Entrevista
1 de junho de 2023
Conheça MAVE:, as estrelas virtuais do K-pop criadas com o MetaHuman e a Unreal Engine
Imagem cortesia da Metaverse Entertainment
A banda virtual de K-pop MAVE: lançou seu primeiro clipe musical no final de janeiro de 2023. Após o lançamento, a banda estreou no Show! Music Core, um dos principais programas de música da Coreia do Sul, criando uma nova onda no gênero. MAVE: atraiu uma enorme atenção por seus personagens realistas, animação convincente e, acima de tudo, por sua música cativante. No momento em que esta matéria foi escrita, o vídeo musical de MAVE: já tinha registrado 21 milhões de visualizações e seu primeiro vídeo ao vivo contava com 3 milhões de visualizações. MAVE: está se comunicando com os fãs de várias formas, incluindo programas de TV e redes sociais.
Conversamos com o diretor Sungkoo Kang, CTO da Metaverse Entertainment, para descobrir como utilizaram a Unreal Engine e o MetaHuman para criar humanos digitais autênticos e como conseguiram desenvolver conteúdo para várias plataformas em um curto espaço de tempo.
Conversamos com o diretor Sungkoo Kang, CTO da Metaverse Entertainment, para descobrir como utilizaram a Unreal Engine e o MetaHuman para criar humanos digitais autênticos e como conseguiram desenvolver conteúdo para várias plataformas em um curto espaço de tempo.
P: Imagino que a primeira etapa de MAVE: tenha sido criar os membros do grupo. O que vocês esperavam alcançar com a criação de personagens digitais?
Nossa meta era criar quatro personagens atrativos, cada um com uma aparência totalmente nova, diferente de tudo que já existe. Para criar personagens assim, é preciso ir além da aparência, acrescentando uma grande variedade de expressões faciais para diferentes situações. Por isso, demos prioridade à criação e ao desenvolvimento de um pipeline e de uma tecnologia para atingir esse objetivo.
P: Soube que vocês usaram o MetaHuman para criar os personagens. Por quê?
Como mencionei, além de uma aparência atraente, é muito importante que os personagens acumulem várias expressões faciais detalhadas para diferentes situações. No entanto, criar e modificar essas expressões faciais é uma tarefa demorada e cara, porque sempre envolve animação esquelética e modelagem, além de exigir revisões e verificações iterativas. É por isso que a tecnologia MetaHuman da Epic, desenvolvida com a ajuda de décadas de experiência na criação de humanos digitais, foi a escolha perfeita. Foi uma parte crucial da construção do pipeline para nossos personagens.
Com o rig facial do MetaHuman, conseguimos criar facilmente as expressões faciais que queríamos e compartilhar as animações entre os personagens. Além disso, foi possível focar em R&D (por exemplo, aprimoramento do controle de rig) consultando o artigo Rig Logic: Runtime Evaluation of MetaHuman Face Rigs publicado pela Epic Games. O alto nível de compatibilidade com ferramentas externas, como Audio2Face da NVIDIA, o aplicativo Live Link Face para iPhone, Faceware e FACEGOOD, nos permitiu aplicar a animação do MetaHuman e reduzir drasticamente o tempo de produção, compartilhando a topologia de malha subjacente, UV, estrutura de articulação e controles.
P: Por que vocês escolheram a Unreal Engine e o MetaHuman?
Quando estávamos planejando MAVE:, pensamos muito em como o nosso projeto deveria ser posicionado e nos tipos de atividades das quais gostaríamos que a banda virtual participasse. A produtividade do nosso conteúdo era o ponto mais importante. Ter muitas atividades significa produzir muito conteúdo, e isso exige eficiência. Caso contrário, é possível que a qualidade visual seja comprometida. Por isso, escolhemos a Unreal Engine não só pela eficiência, mas também pela qualidade da renderização em tempo real. Usamos a Unreal Engine para ampliar os limites das atividades de MAVE: em várias áreas, incluindo a produção de um vídeo musical transmídia em um curto espaço de tempo, atividades em redes sociais, bem como programas de TV e comerciais.
As redes sociais são um canal importante para interagir e criar vínculos. No entanto, para que isso aconteça, é preciso produzir conteúdo de alta qualidade em diferentes formatos e em quantidades variadas. Isso foi o que nos levou a escolher a Unreal Engine em vez de outras ferramentas. Usando a Unreal Engine, conseguimos criar conteúdo em vários formatos, como imagens fotorrealistas e vídeos para interação com os fãs em diferentes plataformas sociais.
P: Que tipo de pipeline foi usado para criar os personagens de MAVE:?
A equipe de criação de MAVE: é formada por talentosos profissionais provenientes de diversos setores, como cinema e jogos, o que significa que todos os membros da equipe já usaram ferramentas de criação de conteúdo digital, dependendo de suas especialidades. Por exemplo, os membros advindos do setor de jogos estão familiarizados com a renderização em tempo real, enquanto os do setor de M&E acumulam experiência na produção de mídia de vídeo. Por isso, criamos um pipeline especial para maximizar a sinergia entre cada membro da equipe.
O pipeline consiste em planejar e criar os personagens. A criação de personagens é dividida em etapas detalhadas, como modelagem, criação de expressão facial e animação esquelética, criação de cabelo e calibração do corpo.
No planejamento, por outro lado, projeta-se a aparência de cada personagem. Esse processo foi conduzido em estreita colaboração com os especialistas da Kakao Entertainment, que acumulam vasta experiência no planejamento bem-sucedido de bandas de K-pop. No entanto, nas tradicionais bandas de K-pop, os membros são selecionados de um grupo existente de aprendizes e a aparência deles é finalizada com maquiagem e troca de figurino. Mas, para bandas virtuais, temos que criar humanos virtuais com visuais complemente novos e atraentes não só no que diz respeito à aparência, mas também em relação a expressões faciais, movimentos, padrões de fala e assim por diante.
Para preencher essa lacuna e oferecer um ambiente de trabalho semelhante ao ambiente original da equipe de planejamento, a equipe de produção criou um pipeline que usa uma rede GAN para gerar automaticamente imagens de destino e modificar ou combinar autovetores de forma manual. Isso permitiu que a equipe de planejamento selecionasse um personagem existente e modificasse seus parâmetros para se adequar aos planos, em vez de ter que criar a aparência de um personagem do zero. A equipe de planejamento nos ajudou compartilhando informações sobre a fórmula de sucesso para bandas de K-pop criada ao longo dos anos.
Imagem cortesia da Metaverse Entertainment
Como os modelos faciais são diretamente afetados pelo estilo dos personagens, trabalhamos com profissionais experientes em roupas e cabelos de bandas de K-pop para encontrar o estilo certo antes de prosseguir com a modelagem na etapa de definição facial. Se escaneássemos uma pessoa real, poderíamos criar uma aparência realista mais rapidamente, mas esse processo apresenta alguns problemas, como a dificuldade de encontrar uma pessoa com a aparência exata que desejamos e questões relacionadas a direitos de imagem. Então criamos os rostos de MAVE: com ferramentas de modelagem.
Imagem cortesia da Metaverse Entertainment
Nas etapas de criação e modificação de expressões faciais, utilizamos nossa própria ferramenta que analisa o modelo e gera automaticamente cerca de 800 expressões faciais, além de empregar informações sobre a posição e o tamanho de cada área, o fluxo muscular e assim por diante. O processo é semelhante às funcionalidades que geram de forma automática expressões faciais quando você insere um tipo de malha básica, como o Mesh to MetaHuman Plugin. Desenvolvemos nossa própria ferramenta porque o Mesh to MetaHuman Plugin ainda não tinha sido lançado, mas ele foi muito útil na modificação do algoritmo e na criação de um pipeline automatizado.
Além disso, criamos uma funcionalidade para personalizar expressões faciais exclusivas que refletem a personalidade do personagem, além das expressões faciais padrão. Para acrescentar essas novas expressões faciais, era necessário chegar à animação esquelética adequada, por isso, geramos automaticamente Control Rigs na Unreal Engine e os configuramos para cada personagem.
Imagem cortesia da Metaverse Entertainment
A base do cabelo foi criada usando o conjunto de ferramentas XGen do Maya. A renderização de cabelo da Unreal Engine usando grooms é feita em tempo real, mas com uma qualidade incrivelmente alta, por isso, conseguimos economizar muito tempo. No entanto, não podíamos usar grooms às vezes porque precisávamos obter um desempenho ainda maior. Nesse caso, criamos uma ferramenta que transforma o penteado em um card. Otimizamos nosso fluxo de trabalho com a automação para eliminar a necessidade de executar tarefas manuais ao modificar e aplicar o cabelo, como ter que criar um ativo vinculado caso ele não exista durante o processo de troca de cabelo.
Também aplicamos a automação à etapa de calibração do corpo e usamos dezenas de formas de calibração para modificar o formato com base na pose. Desenvolvemos um novo algoritmo de solução para evitar os problemas que podem ocorrer ao usar o Maya Radial Basis Function Solver (RBF), incluindo a incapacidade de aplicar hierarquia à interpolação e o aumento da probabilidade de um formato corporal não intencional quando são aplicadas configurações detalhadas.
Além disso, usamos recursos como física, simulação de tecido e nós AnimDynamic da Unreal Engine, bem como uma variedade de outras soluções para criar reações naturais nos acessórios e nas vestimentas. A equipe também usou o suporte DMX da Unreal Engine para criar um palco espetacular.
Também aplicamos a automação à etapa de calibração do corpo e usamos dezenas de formas de calibração para modificar o formato com base na pose. Desenvolvemos um novo algoritmo de solução para evitar os problemas que podem ocorrer ao usar o Maya Radial Basis Function Solver (RBF), incluindo a incapacidade de aplicar hierarquia à interpolação e o aumento da probabilidade de um formato corporal não intencional quando são aplicadas configurações detalhadas.
Além disso, usamos recursos como física, simulação de tecido e nós AnimDynamic da Unreal Engine, bem como uma variedade de outras soluções para criar reações naturais nos acessórios e nas vestimentas. A equipe também usou o suporte DMX da Unreal Engine para criar um palco espetacular.
Imagem cortesia da Metaverse Entertainment
P: Deve ter sido difícil organizar e criar um palco realista capaz de incorporar a emoção do K-pop com uma banda virtual. Como foi fazer isso?
Trabalhamos com um diretor que já dirigiu videoclipes reais de K-pop, um diretor de fotografia, uma equipe de controle, operadores de jib e uma equipe de dança real de K-pop para criar um videoclipe que captasse a sensibilidade desse gênero musical. Também tentamos recriar e proporcionar um ambiente idêntico ao usado em processos e circunstâncias tradicionais para que a equipe de produção pudesse dar o seu melhor. Para isso, construímos um grande centro de efeitos visuais de 20 m x 20 m x 8 m para realizar a captura de movimentos em um espaço tão grande quanto o cenário de um videoclipe real, organizando-o para capturar não apenas a performance dos atores, mas também o movimento do equipamento de filmagem real, para recriar o incrível trabalho feito pela câmera posteriormente.
Os atores fizeram a coreografia usando roupas que permitem a captura de movimentos e foram filmados como se estivessem em um show de verdade. Os dados da câmera, rastreados usando o Mo-Sys StarTracker, foram usados diretamente na apresentação virtual final na Unreal Engine, transmitindo veracidade. Os ângulos da câmera e o movimento dos atores foram pré-visualizados na Unreal Engine, para que os resultados pudessem ser verificados imediatamente e depois gravados de forma simultânea no Vicon Shogun e na Unreal.
A gravação foi feita da mesma maneira que os vídeos de K-pop verdadeiros, capturando os quatro membros em movimento ao mesmo tempo. Primeiro editamos os cortes com os dados de captura de movimento obtidos com a câmera no local e, em seguida, limpamos a captura de movimento com base nos cortes editados. Dessa forma, conseguimos focar nas partes que seriam realmente usadas na versão final. Os movimentos ficaram mais naturais porque nosso trabalho se baseou no movimento de pessoas reais.
P: O que MAVE: pretende lançar em breve e quais são os planos da Metaverse Entertainment para o futuro?
Como uma celebridade virtual que usa a Unreal Engine, MAVE: está preparando uma gama completamente nova de conteúdos que diferenciará a banda de todos os grupos de K-pop. Estamos trabalhando pesado, então fiquem de olho nas novidades.
Planejamos expandir nossos negócios usando PIs em filmes, dramas e jogos, mas queremos também ampliar nossas especialidades, como humanos virtuais e o metaverso. Vamos precisar da Unreal Engine ao longo do caminho como uma base sólida para vários conteúdos, incluindo conteúdo de fandom em tempo real, conteúdo interativo e novo conteúdo multimídia.
Acesse o site oficial e os canais de redes sociais para ficar por dentro das novidades de MAVE:.