E se você pudesse capturar o desempenho facial de um ator e transformá-lo em uma animação de alta fidelidade para o seu MetaHuman em minutos, usando apenas um iPhone e um computador?
Com o MetaHuman Animator você pode!
Mostrado em primeira mão na GDC 2023, a versão mais recente do rápido e fácil pipeline de humanos digitais traz um desempenho de captura altamente fiel para os MetaHumans.
Venha com tudo e explore, aprenda os macetes, converse com outros usuários do MetaHuman e leia a documentação na nossa nova plataforma do MetaHuman na Comunidade de Desenvolvedores da Epic.
Com o MetaHuman Animator você pode!
Mostrado em primeira mão na GDC 2023, a versão mais recente do rápido e fácil pipeline de humanos digitais traz um desempenho de captura altamente fiel para os MetaHumans.
Venha com tudo e explore, aprenda os macetes, converse com outros usuários do MetaHuman e leia a documentação na nossa nova plataforma do MetaHuman na Comunidade de Desenvolvedores da Epic.
O MetaHuman Animator é um novo conjunto de recursos que permite a captura do desempenho facial de um ator usando um iPhone ou um sistema estéreo de câmera montado na cabeça (head-mounted camera, ou HMC) e o aplica como uma animação facial de alta fidelidade em qualquer personagem MetaHuman, sem precisar de intervenção manual.
Cada mínima expressão, olhar e emoção é precisa e fielmente capturada e replicada em seu humano digital. Melhor ainda, qualquer pessoa consegue obter resultados incríveis de forma simples e direta.
Se você nunca trabalhou com captura de desempenho facial, o MetaHuman Animator é uma forma conveniente de trazer animação facial aos seus MetaHumans baseado em atuações da vida real.
E se você já faz captura de desempenho facial, este novo conjunto de recursos vai melhorar significativamente o seu fluxo de trabalho de captura já existente, reduzir tempo e esforço e dar a você mais controle criativo. Basta combinar o MetaHuman Animator com sua câmera vertical montada na cabeça para alcançar uma fidelidade visual ainda maior.
Achou curioso? Vamos mergulhar ainda mais fundo...
Método fácil para uma animação facial de alta fidelidade
Antigamente, uma equipe de especialistas levaria meses para recriar fielmente cada detalhe da movimentação facial de um ator em um personagem digital. Agora, o MetaHuman Animator faz o trabalho difícil para você em uma fração desse tempo e com muito menos esforço.Esses novos recursos usam um solucionador com funcionalidades avançadas para combinar dados de vídeo e de profundidade com uma representação MetaHuman do ator. A animação é produzida no local usando uma placa de vídeo, disponibilizando uma animação final em minutos.
Porém, tudo isso acontece por baixo dos panos. Para você, basta apontar a câmera para o ator e começar a gravar. Depois da captura, o MetaHuman Animator reproduz de forma precisa a individualidade e as nuances do desempenho facial do ator no personagem MetaHuman.
E mais, os dados da animação são semanticamente corretos, usando os controles de manipulação adequados, e temporalmente consistentes, com transições de controle suaves, tornando fácil fazer adaptações artísticas caso você queira ajustar a animação.
Quer ver o que o MetaHuman Animator consegue fazer usando equipamentos de ponta?
Apresentando Blue Dot, um curta-metragem criado pela equipe 3Lateral da Epic Games em colaboração com artistas da Sérvia, incluindo o renomado ator Radivoje Bukvić, que faz um monólogo baseado em um poema de Mika Antić. A obra foi filmada no palco de captura de movimento do estúdio Take One, com Ivan Šijak no papel de diretor de fotografia.
Os resultados complexos mostram o nível de fidelidade que artistas e cineastas podem esperar ao usar o MetaHuman Animator com um sistema vertical estéreo de câmera montado na cabeça e técnicas de filmagem tradicionais.
Além disso, a equipe conseguiu esse nível de qualidade impressionante na animação com intervenções mínimas nos resultados do MetaHuman Animator.
Animação facial para qualquer MetaHuman
A animação facial que você capturar usando o MetaHuman Animator pode ser aplicada em qualquer personagem MetaHuman, ou qualquer personagem adotando o novo padrão de descrição facial do MetaHuman, em apenas alguns cliques. Isso significa que você pode criar o seu personagem do jeito que quiser, sabendo que a animação facial aplicada a ele vai funcionar.
Entrando em detalhes técnicos, isso é possível porque o Mesh to MetaHuman agora pode criar uma MetaHuman Identity a partir de apenas três quadros de vídeo, juntamente com dados de profundidade capturados usando seu iPhone ou reconstruídos usando dados da câmera estéreo vertical montada na cabeça.
Com isso, os dados da animação são personalizados para cada ator, permitindo que o MetaHuman Animator produza animações que funcionam em qualquer personagem MetaHuman. É possível até mesmo usar o áudio para produzir animações realistas da língua.
Use um iPhone para fazer a captura
Queremos levar a captura de desempenho facial de algo que apenas especialistas com sistemas avançados de captura conseguem usar a algo para todos os criadores.
Na sua forma mais básica, o MetaHuman Animator pode ser usado com apenas um iPhone (12 ou mais novo) e um computador de trabalho. Isso é possível porque nós atualizamos o aplicativo Live Link Face de iOS para capturar dados de vídeo e profundidade sem processamento, que depois são inseridos na Unreal Engine diretamente do dispositivo para serem processados.
Você também pode usar o MetaHuman Animator com o seu sistema vertical estéreo de câmera montado na cabeça já existente para alcançar uma fidelidade ainda maior.
Na sua forma mais básica, o MetaHuman Animator pode ser usado com apenas um iPhone (12 ou mais novo) e um computador de trabalho. Isso é possível porque nós atualizamos o aplicativo Live Link Face de iOS para capturar dados de vídeo e profundidade sem processamento, que depois são inseridos na Unreal Engine diretamente do dispositivo para serem processados.
Você também pode usar o MetaHuman Animator com o seu sistema vertical estéreo de câmera montado na cabeça já existente para alcançar uma fidelidade ainda maior.
Seja usando um iPhone ou uma HMC (câmera montada na cabeça) estéreo, o MetaHuman Animator vai aprimorar a velocidade e facilitar o uso do seu fluxo de trabalho de captura. Isso oferece flexibilidade para escolher os equipamentos mais adequados às necessidades da sua filmagem e o nível de fidelidade visual que você deseja atingir.
Os dados de captura de animação suportam timecode, então a animação de desempenho facial pode ser facilmente alinhada à captura de movimentação corporal e de áudio para entregar uma atuação completa do personagem.
Os dados de captura de animação suportam timecode, então a animação de desempenho facial pode ser facilmente alinhada à captura de movimentação corporal e de áudio para entregar uma atuação completa do personagem.
Perfeito para fazer escolhas criativas no set
O MetaHuman Animator se adapta perfeitamente às revisões criativas no set, pois ele permite que você processe e transfira animações faciais rapidamente para qualquer personagem MetaHuman.Precisa que um ator ofereça algo mais, quer se aprofundar em diferentes emoções ou simplesmente explorar novas direções? Grave uma nova tomada. Você poderá revisar os resultados aproximadamente no tempo de preparo de um cafezinho.
Com os dados da animação revisados bem ali na Unreal Engine durante a gravação, a qualidade da captura pode ser avaliada muito antes do personagem final ser animado.
E como é possível fazer regravações enquanto os atores ainda estão no palco, você pode usar a melhor tomada naquele momento ao invés de desperdiçar o tempo e o custo necessário para reunir todos em uma data posterior.
Novo fluxo de trabalho do Mesh to MetaHuman para personagens personalizados
Mas este lançamento não se trata apenas do MetaHuman Animator. Nós também expandimos o Mesh to MetaHuman para que você possa configurar diretamente as posições dos pontos nos modelos de malha.O Mesh to MetaHuman faz um ajuste que o permite usar qualquer topologia, mas isso necessariamente aproxima o volume da sua malha de entrada. Com este lançamento, você pode configurar o modelo de malha e, desde que a correspondência com a topologia do MetaHuman seja perfeita, você vai ter exatamente a malha de entrada adaptada, não uma aproximação.
Juntamente com a capacidade do DNACalib de ajustar a pose neutra para malhas e articulações, isso possibilita que os especialistas tenham rapidamente personagens personalizados.
Quer saber mais? Agora você pode mergulhar na documentação sobre esse e todos os outros aspectos da estrutura do MetaHuman na nossa nova plataforma MetaHuman. Localizada na Comunidade de Desenvolvedores da Epic, o melhor lugar para saber mais sobre as ferramentas da Epic e trocar informações com outras pessoas, lá você também encontrará fóruns onde poderá exibir o seu trabalho ou fazer perguntas, e uma seção de tutoriais com conteúdo tanto da Epic quanto de usuários.