Et si vous pouviez capturer la performance d'un acteur et la transformer en une animation faciale haute fidélité pour votre MetaHuman en seulement quelques minutes, avec pour seul matériel un iPhone et un PC ?
Avec MetaHuman Animator, vous le pouvez !
Présentée pour la première fois à la conférence GDC 2023, la dernière version de la solution rapide et facile de création d'humains numériques apporte à MetaHumans des possibilités de capture de performance haute fidélité.
Lancez-vous et explorez, ou bien prenez votre temps pour apprendre les rouages, parler à d'autres utilisateurs de MetaHuman et lire la documentation disponible sur notre nouvel hub MetaHuman au sein de la communauté de développeurs Epic.
Avec MetaHuman Animator, vous le pouvez !
Présentée pour la première fois à la conférence GDC 2023, la dernière version de la solution rapide et facile de création d'humains numériques apporte à MetaHumans des possibilités de capture de performance haute fidélité.
Lancez-vous et explorez, ou bien prenez votre temps pour apprendre les rouages, parler à d'autres utilisateurs de MetaHuman et lire la documentation disponible sur notre nouvel hub MetaHuman au sein de la communauté de développeurs Epic.
MetaHuman Animator est une nouvelle fonctionnalité qui vous permet de capturer la performance d'un acteur au moyen d'un iPhone ou d'une caméra montée sur casque stéréo (HMC), et de l'utiliser pour créer une animation faciale haute fidélité sur n'importe quel personnage MetaHuman, sans besoin d'intervention manuelle.
Chaque expression, nuance et émotion sera capturée dans toute sa subtilité et reproduit avec fidélité sur votre humain numérique. De plus, il est très simple d'arriver à des résultats incroyables ; tout le monde en est capable.
Si vous êtes novice dans le domaine de la capture de performance, MetaHuman Animator est un moyen pratique de donner à vos MetaHumans des expressions faciales basées sur des performances réelles.
Si vous avez déjà procédé à de la capture de performance, ces nouvelles fonctionnalités réduiront significativement la quantité d'efforts et de temps nécessaires dans votre processus de création, tout en vous offrant plus de contrôle créatif. Associez simplement MetaHuman Animator à votre caméra montée sur casque stéréo pour arriver à une fidélité accrue.
Vous souhaitez en savoir plus ? Allons plus loin…
Des animations faciales haute fidélité, en toute simplicité
Auparavant, il aurait fallu des mois de travail à une équipe d'experts pour reproduire avec fidélité toute les nuances de la performance d'un acteur sur un personnage numérique. Désormais, MetaHuman Animator fait le travail pour vous en une fraction du temps et des efforts autrefois nécessaires.La nouvelle fonctionnalité utilise une fonctionnalité avancée pour combiner les données de vidéo et de profondeur à une représentation de l'acteur sous forme de MetaHuman. Cette animation est produite localement par GPU, l'animation finale étant disponible en quelques minutes.
Cependant, tout cela se passe « sous le capot ». De votre côté, cela se résume essentiellement à pointer la caméra vers l'acteur puis à appuyer sur le bouton d'enregistrement. Une fois la capture effectuée, MetaHuman Animator reproduit fidèlement l'individualité et la nuance de la performance de l'acteur sur n'importe quel personnage MetaHuman.
De plus, les données d'animation sont correctes d'un point de vue sémantique, utilisant les contrôles du squelette appropriés, et temporellement cohérentes, avec des transitions de contrôle fluides, ce qui permet de les ajuster facilement, si nécessaire, à des fins artistiques.
Vous souhaitez découvrir ce qu'il est possible de faire avec MetaHuman Animator lorsque vous utilisez de l'équipement de pointe ?
Voici Blue Dot (Point bleu), un court métrage créé par l'équipe 3Lateral d'Epic Games, en collaboration avec des artistes serbes locaux, dont le célèbre acteur Radivoje Bukvić qui nous livre un monologue basé sur un poème de Mika Antić. La performance a été filmée sur le plateau de capture de mouvement du studio Take One avec Ivan Šijak opérant comme directeur de la photographie.
Ces résultats nuancés montrent le niveau de fidélité auquel peuvent s'attendre les artistes et les créateurs de films en utilisant MetaHuman Animator avec un système de caméra montée sur casque stéréo et des techniques de film traditionnelles.
De plus, l'équipe a pu obtenir cet impressionnant niveau de qualité pour l'animation avec un minimum d'interventions après les résultats donnés par MetaHuman Animator.
Animation faciale pour n'importe quel MetaHuman
L'animation faciale que vous capturez via MetaHuman Animator peut être appliquée en quelques clics à n'importe quel personnage MetaHuman ou n'importe quel personnage adoptant le nouveau standard de description faciale de MetaHuman. Cela signifie que vous pouvez concevoir votre personnage comme vous le souhaitez, avec la garantie que l'animation faciale qui lui sera appliquée fonctionnera.
Pour rentrer un instant dans les détails techniques, cela est rendu possible car Mesh to MetaHuman peut désormais créer une MetaHuman Identity à partir de seulement trois frames de vidéo, couplées à des données de profondeur capturées avec votre iPhone ou reconstruites à partir des données de votre caméra verticale montée sur casque stéréo.
Cela personnalise les données de l'animation en fonction de l'acteur, permettant à MetaHuman Animator de produire une animation qui fonctionne sur n'importe quel personnage MetaHuman. Elle peut même utiliser l'audio pour créer une animation réaliste de la langue.
Utilisez un iPhone pour la capture
Nous souhaitons faire de la capture de performance faciale un domaine qui ne soit plus seulement réservé aux experts disposant de systèmes de capture haut de gamme, mais accessible à tous les créateurs.
Au plus simple, MetaHuman Animator peut être utilisé avec un iPhone (12 ou plus) et un ordinateur de bureau. En effet, notre mise à jour de l'application Live Link Face pour iOS permet de capturer des données de vidéo et de profondeur brutes, qui sont ensuite transférées directement depuis l'appareil vers l'Unreal Engine pour traitement.
Vous pouvez également utiliser MetaHuman Animator avec votre caméra verticale montée sur casque stéréo pour arriver à une fidélité accrue.
Au plus simple, MetaHuman Animator peut être utilisé avec un iPhone (12 ou plus) et un ordinateur de bureau. En effet, notre mise à jour de l'application Live Link Face pour iOS permet de capturer des données de vidéo et de profondeur brutes, qui sont ensuite transférées directement depuis l'appareil vers l'Unreal Engine pour traitement.
Vous pouvez également utiliser MetaHuman Animator avec votre caméra verticale montée sur casque stéréo pour arriver à une fidélité accrue.
Que vous utilisiez un iPhone ou une caméra montée sur casque stéréo, MetaHuman Animator améliorera la vitesse et la facilité d'utilisation de votre flux de capture. Cela vous offrira la flexibilité de choisir le matériel le plus adapté aux exigences de votre production et au niveau de fidélité visuelle que vous souhaitez atteindre.
Comme les données d'animation capturées prennent en charge le timecode, l'animation de performance faciale peut ainsi être facilement alignée à la capture de mouvement corporel et à l'audio pour obtenir une performance complète du personnage.
Comme les données d'animation capturées prennent en charge le timecode, l'animation de performance faciale peut ainsi être facilement alignée à la capture de mouvement corporel et à l'audio pour obtenir une performance complète du personnage.
Parfait pour effectuer des choix créatifs sur set
MetaHuman Animator est parfaitement adapté aux itérations créatives sur set, car il vous permet de traiter et de transférer rapidement l'animation faciale sur n'importe quel personnage MetaHuman.Vous souhaitez qu'un acteur vous donne plus, essayer une émotion différente ou simplement explorer une nouvelle direction ? Faites-lui faire une nouvelle prise. Les résultats seront prêts le temps de préparer un café.
Avec les détails de l'animation pouvant être examinés sur place dans l'Unreal Engine alors que vous êtes sur le lieu de tournage, la qualité de la capture peut être évaluée bien avant l'animation du personnage final.
Et comme les nouvelles prises peuvent être effectuées avec l'acteur toujours présent, vous pourrez obtenir la meilleure prise sur place, au lieu d'avoir à absorber le coût et le temps nécessaires à faire revenir tout le monde un autre jour.
Nouveau flux de travail Mesh to MetaHuman pour des personnages personnalisés
Cette sortie ne concerne pas seulement MetaHuman Animator. Nous avons également étendu les capacités de Mesh to MetaHuman, afin que vous puissiez maintenant directement configurer les positions des points du maillage du modèle.Mesh to MetaHuman effectue un ajustement qui lui permet d'utiliser n'importe quelle topologie, mais cela implique nécessairement une approximation du volume de votre maillage d'entrée. Avec cette version, vous pouvez définir le maillage du modèle et, à condition qu'il respecte strictement la topologie du MetaHuman, vous obtiendrez exactement ce maillage avec le squelette associé, sans approximation.
En parallèle avec la capacité DNACalib de définir la pose neutre pour le maillage et les articulations, cela permet aux experts de se concentrer sur des personnages personnalisés.
Vous souhaitez en savoir plus ? Vous pouvez maintenant vous plonger dans la documentation concernant cet aspect et tous les autres de l'outil MetaHuman dans notre nouveau hub MetaHuman. Situé au sein de la communauté de développeurs Epic, le guichet unique pour en apprendre plus sur les outils d'Epic et pour partager des informations, il héberge également des forums où vous pouvez présenter votre travail ou poser des questions, ainsi qu'une section de tutoriels créés par Epic et les utilisateurs.