Coup de projecteur
16 juin 2022
La technologie MetaHuman ramène à la vie un chaman âgé de 10 000 ans.
Notre compréhension de l'histoire est principalement basée sur des artefacts. Mais qu'adviendrait-il s'il nous était possible de voir les expressions du visage d'un ancien humain ? Et si nous pouvions voir les muscles de son visage s'animer et refléter la surprise, la colère ou la peur ? Ou bien même nous sourire ? Sofija Stefanović, professeure d'anthropologie physique du département d'archéologie de l'université de Belgrade, et son équipe se sont posé ces questions avant de se lancer dans la reconstruction du visage d'un chaman âgé de 10 000 ans du célèbre site archéologique Lepenski Vir en Serbie.
C'est également en que se trouve l'entreprise 3Lateral, qui contribue largement au développement de la technologie des humains numériques et fait désormais partie de la famille Epic Games. L'équipe s'est associée à Sofija Stefanović pour le projet. 3Lateral travaille de concert avec Cubic Motion, un autre membre de la famille Epic Games, ainsi qu'avec l'équipe de l'Unreal Engine dans le but de développer le framework MetaHuman. L'application cloud gratuite MetaHuman Creator a été mise à disposition en accès anticipé l'an dernier. MetaHuman Creator permet à quiconque le souhaite de créer des humains numériques uniques en seulement quelques minutes à partir d'une importante base de données scannées.
La dernière mise à jour MetaHuman comprenait de nouvelles fonctionnalités pour MetaHuman Creator, mais a également marqué les débuts d'un nouveau plug-in MetaHuman pour l'Unreal Engine. L'une des principales fonctionnalités de ce plug-in est Mesh to MetaHuman. Celle-ci utilise la technologie qui a permis de redonner vie au chaman. Ces avancées sont désormais accessibles à tous et permettent de créer un MetaHuman à partir d'un modèle personnalisé, mais également de mener à bien des projets similaires sans connaissances approfondies.
La dernière mise à jour MetaHuman comprenait de nouvelles fonctionnalités pour MetaHuman Creator, mais a également marqué les débuts d'un nouveau plug-in MetaHuman pour l'Unreal Engine. L'une des principales fonctionnalités de ce plug-in est Mesh to MetaHuman. Celle-ci utilise la technologie qui a permis de redonner vie au chaman. Ces avancées sont désormais accessibles à tous et permettent de créer un MetaHuman à partir d'un modèle personnalisé, mais également de mener à bien des projets similaires sans connaissances approfondies.
Reconstruction faciale à l'aide de techniques traditionnelles
Le site archéologique Lepenski Vir est situé dans l'est de la Serbie, sur la rive du Danube, et a été découvert dans les années 1960. Il a une importance historique capitale, puisqu'il illustre le début du développement de la culture préhistorique européenne. Environ 500 ossements ont été découverts sur le site, notamment le squelette désormais appelé le "chaman" en raison de la position du lotus dans laquelle il a été trouvé. Ce chaman aurait vécu en l'an -8 000 av. J.-C. environ. Le squelette du chaman a permis à l'équipe d'experts de déterminer son poids, sa taille et même son régime alimentaire, qui aurait été à base de poisson.Pour entamer la reconstruction, l'équipe avait besoin de créer une réplique physique exacte du crâne préhistorique afin de préserver l'intégrité de l'original. Avec l'aide de l'archéologue Jugoslav Pendić du BioSense Institute de Novi Sad, en Serbie, l'équipe a commencé à reconstituer les traits du visage du chaman en capturant des centaines d'images en 2D à l'aide d'un appareil photo plein format. Ces photos ont été importées dans RealityCapture afin de former un modèle virtuel en 3D. Celui-ci a ensuite été imprimé en 3D afin d'obtenir un modèle physique.
La reproduction du crâne a ensuite été confiée à Oscar Nilsson, un artiste et archéologue suédois. Cet expert avait déjà reconstruit des modèles de visages anciens pour de nombreux musées à travers le monde. Il a pu se lancer dans une reconstruction faciale médico-légale en ajoutant des couches de muscle et de peau avec de l'argile, dont l'épaisseur a été déterminée par le genre, l'âge, l'origine ethnique et le poids estimé du sujet.
Transformer un maillage statique en modèle animable
Pour donner vie au modèle du chaman, la reconstruction en argile (sans la peau et les cheveux) a été renumérisée à l'aide du scanner Peel, puis reconstituée avec RealityCapture pour créer un modèle numérique. Après avoir appliqué une texture de base pour la peau et les yeux (un prérequis pour l'étape suivante), il a fallu soumettre le maillage au processus Mesh to MetaHuman.À l'aide du suivi de repères automatisé de l'Unreal Engine 5, Mesh to MetaHuman a apposé le modèle topologique MetaHuman au scan du chaman. Le nouveau maillage a ensuite été envoyé sur le cloud, puis associé à un MetaHuman à la géométrie faciale et aux proportions similaires à celles du chaman. Il a alors été automatiquement associé au squelette facial du MetaHuman. Cet outil a utilisé la base de scans de véritables expressions humaines de MetaHuman Creator pour produire des "expressions estimées à l'aide de statistiques" pour ce visage antique, tout en préservant les deltas afin de conserver son apparence originelle. Pour en savoir plus, consultez ce tutoriel.
Une fois le processus terminé, le personnage a pu être importé dans MetaHuman Creator. L'équipe pouvait d'ores et déjà appuyer sur le bouton Play et voir le chaman prendre vie à l'aide de plusieurs animations prédéfinies disponibles dans l'application.
Perfectionner l'image avec MetaHuman Creator
Ensuite, l'équipe a travaillé de concert avec des archéologues, un laboratoire médico-légal et un créateur de personnages MetaHuman afin de déterminer l'apparence de la pilosité faciale et les propriétés de la peau du chaman dans MetaHuman Creator. L'analyse de l'ADN disponible a montré qu'il avait certainement un teint et des cheveux sombres ainsi que des yeux marron. "Nous pouvons estimer la couleur de la peau, des cheveux et des yeux avec plus de 90% de précision", explique Sofija Stefanović.Des rides et des cheveux blancs ont été ajoutés pour correspondre à son âge estimé. Ses dents ont été ajustées en fonction de son crâne. Sa coiffure et le style de sa barbe ont été basés sur les outils à sa disposition en l'an -8 000 av. J.-C. (comme des coquillages).
Une fois l'apparence numérique du chaman déterminée, Oscar Nilsson a pu reproduire les estimations sur le modèle physique afin de terminer la reconstruction en 3D traditionnelle.
"Tous ces va-et-vient dans MetaHuman Creator étaient vraiment fascinants. En temps normal, c'est un travail que j'aurais réalisé moi-même, à la main, ce qui est très cher et extrêmement chronophage", précise Oscar Nilsson. "Mais le fait de pouvoir faire tout ça numériquement change la donne."
Une fois l'apparence numérique du chaman déterminée, Oscar Nilsson a pu reproduire les estimations sur le modèle physique afin de terminer la reconstruction en 3D traditionnelle.
"Tous ces va-et-vient dans MetaHuman Creator étaient vraiment fascinants. En temps normal, c'est un travail que j'aurais réalisé moi-même, à la main, ce qui est très cher et extrêmement chronophage", précise Oscar Nilsson. "Mais le fait de pouvoir faire tout ça numériquement change la donne."
Une interaction en temps réel avec l'histoire
L'équipe a ensuite importé le modèle numérique dans l'Unreal Engine, puis a créé un environnement virtuel avec un éclairage réaliste. Le chaman était alors prêt à être animé à la main à l'aide du squelette facial du MetaHuman, ou bien avec l'application gratuite Live Link Face, qui permet d'utiliser un iPhone ou un iPad pour capturer des animations faciales et les projeter sur un personnage dans l'Unreal Engine en temps réel.Les modèles virtuels et physiques ont été développés en tandem, puis dévoilés à l'occasion de la Dubai Expo 2020 par la plateforme nationale Serbia Creates, qui a financé le projet. Lors de la présentation, les visiteurs ont pu capturer leurs propres expressions à l'aide d'iPhones, puis les retrouver en animation en temps réel sur le visage du chaman.
"Lorsque personne n'interagissait avec lui, il bâillait et s'étirait grâce à des animations empruntées à d'autres MetaHumans", explique Adam Kovač, spécialiste solutions chez 3Lateral. "Le voir sourire était un pur bonheur."
"Lorsque personne n'interagissait avec lui, il bâillait et s'étirait grâce à des animations empruntées à d'autres MetaHumans", explique Adam Kovač, spécialiste solutions chez 3Lateral. "Le voir sourire était un pur bonheur."
Sofija Stefanović fait écho à ce sentiment. "Nous n'avons jamais eu l'opportunité auparavant de voir ce à quoi nos ancêtres ressemblaient lorsqu'ils montraient leurs émotions", dit-elle.
L'installation interactive est désormais exposée au Musée national de Belgrade, en Serbie, aux côtés de la collection d'artefacts de Lepenski Vir.
Bien que le cadre MetaHuman ait déjà suscité beaucoup d'intérêt dans les industries du jeu vidéo et du cinéma, le chaman de Lepenski Vir offre un aperçu de ce que cette technologie pourrait apporter aux projets novateurs dans des domaines plus traditionnels comme l'archéologie et la médecine légale. L'équipe espère que cette reconstruction révolutionnaire alimentera l'imagination d'autres pionniers et les encouragera à expérimenter dans différents domaines. "Certaines équipes explorent déjà une utilisation dans les domaines de la médecine, de l'automobile et même de la recherche en psychologie", affirme Adam Kovač. "Le développement de la technologie appartient donc aux utilisateurs."
L'installation interactive est désormais exposée au Musée national de Belgrade, en Serbie, aux côtés de la collection d'artefacts de Lepenski Vir.
Bien que le cadre MetaHuman ait déjà suscité beaucoup d'intérêt dans les industries du jeu vidéo et du cinéma, le chaman de Lepenski Vir offre un aperçu de ce que cette technologie pourrait apporter aux projets novateurs dans des domaines plus traditionnels comme l'archéologie et la médecine légale. L'équipe espère que cette reconstruction révolutionnaire alimentera l'imagination d'autres pionniers et les encouragera à expérimenter dans différents domaines. "Certaines équipes explorent déjà une utilisation dans les domaines de la médecine, de l'automobile et même de la recherche en psychologie", affirme Adam Kovač. "Le développement de la technologie appartient donc aux utilisateurs."