Unser historisches Wissen stammt hauptsächlich aus Artefakten, aber was wäre, wenn wir die Mimik auf dem Gesicht eines prähistorischen Menschen direkt sehen könnten? Was wäre, wenn wir direkt sehen könnten, wie er sein Gesicht verzieht, um Überraschung, Ärger oder Angst auszudrücken – oder Sie anlächelt? Diese Fragen hatten auch Sofija Stefanović, Professorin für physische Anthropologie an der archäologischen Fakultät der Universität Belgrad, und ihr Team, als sie sich an die bahnbrechende Rekonstruktion des Gesichts eines 10.000 Jahre alten Schamanen aus der berühmten archäologischen Ausgrabungsstätte Lepenski Vir in Serbien wagten.
3Lateral, ein führendes Entwicklungsstudio für Technologie rund um digitale Menschen und jetzt Teil von Epic Games, hat praktischerweise seinen Sitz in Serbien und arbeitete zusammen mit Stefanović an dem Projekt. Das Team von 3Lateral arbeitete mit Kollegen von Cubic Motion, einem weiteren Teil der Epic-Games-Familie, und dem Unreal-Engine-Team zusammen, um das MetaHuman-Framework zu entwickeln. Das Team hatte erst letztes Jahr den Early Access zu seiner kostenlosen, cloudbasierten Anwendung MetaHuman Creator ermöglicht. Der MetaHuman Creator ermöglicht es jedem, innerhalb von Minuten einzigartige, hochrealistische digitale Menschen zu erstellen, die auf Daten aus seiner Scan-Datenbank basieren.
Die neueste Version von MetaHuman brachte nicht nur neue Funktionen für den MetaHuman Creator mit sich, sondern auch das brandneue MetaHuman-Plugin für Unreal Engine. Die erste große Funktion des Plugins ist Mesh to MetaHuman, das die Kerntechnologie bereitstellt, die zur Wiederbelebung des Schamanen verwendet wurde. Diese aufregende Neuentwicklung, die nun allen frei zugänglich ist, ermöglicht es Ihnen, einen MetaHuman aus Ihrem eigenen Modell zu erstellen und ähnliche Projekte ohne Expertenwissen zu realisieren.
Die neueste Version von MetaHuman brachte nicht nur neue Funktionen für den MetaHuman Creator mit sich, sondern auch das brandneue MetaHuman-Plugin für Unreal Engine. Die erste große Funktion des Plugins ist Mesh to MetaHuman, das die Kerntechnologie bereitstellt, die zur Wiederbelebung des Schamanen verwendet wurde. Diese aufregende Neuentwicklung, die nun allen frei zugänglich ist, ermöglicht es Ihnen, einen MetaHuman aus Ihrem eigenen Modell zu erstellen und ähnliche Projekte ohne Expertenwissen zu realisieren.
Physische Gesichtsrekonstruktion mit traditionellen Techniken
Die Siedlung Lepenski Vir im Osten Serbiens befindet sich am Ufer der Donau und wurde in den 1960ern entdeckt. Die Stätte hat enorme historische Bedeutung, da hier die Frühstadien der Entwicklung der prähistorischen europäischen Kultur sichtbar werden. Etwa 500 Skelette wurden in der Stätte gefunden, darunter auch ein Skelett, das als „Schamane“ bekannt wurde, weil es mit überkreuzten Beinen in der Lotushaltung aufgefunden wurde. Man nimmt an, dass der Schamane etwa 8.000 vor Christus lebte. Mit dem Skelett konnte das Expertenteam seine Größe und sein Gewicht bestimmen und sogar herausfinden, dass seine Ernährung hauptsächlich auf Fisch basierte.Um mit der Rekonstruktion zu beginnen, musste das Team zuerst eine exakte Kopie des prähistorischen Schädels anfertigen, um das Original zu bewahren. Angeleitet vom Archäologen Jugoslav Pendić vom BioSense Institute in Novi Sad, Serbien, begann das Team mit der Nachbildung der Gesichtszüge des prähistorischen Schamanen. Dazu wurden Hunderte von 2D-Bildern mit einer Vollformatkamera aufgenommen. Die Bilder wurden in RealityCapture importiert, um daraus ein virtuelles 3D-Modell zu erstellen, woraus anschließend per 3D-Druck ein physisches Modell gebaut wurde.
Die Schädelnachbildung ging dann an Oscar Nilsson, einen forensischen Künstler und Archäologen aus Schweden. Er ist ein Experte auf dem Gebiet der Modellrekonstruktion uralter Gesichter und arbeitet für Museen auf der ganzen Welt. Nilsson begann die forensische Gesichtsrekonstruktion, indem er Muskeln und Hautpartien mit Ton auftrug, deren Stärke durch Geschlecht, Alter, Ethnizität und das geschätzte Gewicht der Person bestimmt wurden.
Ein statisches Mesh in ein animierbares Modell verwandeln
Um dem tatsächlichen Schamanenmodell Leben einzuhauchen, wurde das Tonmodell, das noch immer keine Hauttexturen hatte, erneut mit einem Peel-Scanner gescannt. Dann wurde es mit RealityCapture als digitales Modell rekonstruiert. Nach der Anwendung von einfachen Texturen für Haut und Augen (eine Voraussetzung für den nächsten Schritt) war es an der Zeit, das Mesh durch den Mesh-to-MetaHuman-Prozess zu schleusen.Mit der automatischen Erfassung von Besonderheiten in der Unreal Engine 5 konnte Mesh to MetaHuman die MetaHuman-Topologievorlage auf den Schamanenscan anwenden. Das neue Mesh wurde dann in die Cloud übertragen, wo es auf einen MetaHuman mit einer ähnlichen Gesichtsgeometrie und ähnlichen Proportionen wie denen des Schamanen angewendet wurde. Gleichzeitig wurde es automatisch an das MetaHuman-Gesichts-Rig gebunden. Die Technologie nutzte die umfassende Datenbank von MetaHuman Creator, in der sich zahlreiche Scans von Mimiken echter Menschen befinden, um eine „statistisch wahrscheinliche Mimik“ für das uralte Gesicht zu erstellen. Dabei wurden die Deltawerte beibehalten, um die Ähnlichkeit mit dem Original zu erhalten. Wenn Sie mehr über den Prozess herausfinden wollen, sehen Sie sich gern unser Tutorial an.
Nachdem der Prozess abgeschlossen war, konnte der Charakter im MetaHuman Creator aufgerufen werden. Das Team konnte jetzt sofort auf „Play“ drücken und sehen, wie der Schamane mit einigen Animationsvoreinstellungen aus dem Programm zum Leben erweckt wurde.
Feinarbeiten mit dem MetaHuman Creator
Im nächsten Schritt wurden in gemeinsamen Sitzungen der Archäologen, Forensiker und MetaHuman-Creator-Künstler im MetaHuman Creator die Gesichtsbehaarung des Schamanen und seine Hautmerkmale immer weiter verfeinert. Die Analyse vorhandener DNA legte nahe, dass er einen „mitteldunklen“ Hautton, dunkle Haare und braune Augen hatte. „Wir haben die Hautfarbe, Haarfarbe und Augenfarbe mit über 90-prozentiger Wahrscheinlichkeit geschätzt“, erklärt Stefanović.Fältchen und graue Haare wurden basierend auf seinem geschätzten Alter hinzugefügt. Die Zähne wurden basierend auf dem Erhaltungszustand des Schädels angepasst. Seine Frisur und der Bart wurden so angelegt, wie sie mit plausiblen Utensilien aus der Zeit um 8.000 vor Christus (etwa Muschelschalen) hergerichtet werden konnten.
Nachdem das digitale Ebenbild des Schamanen vollendet war, konnte Nilsson dieselben Stilelemente auf das physische Modell übertragen, um den traditionellen 3D-Rekonstruktionsprozess abzuschließen.
„Der gesamte Prozess im MetaHuman Creator war unglaublich. Normalerweise würde ich die ganze Arbeit selbst von Hand erledigen, was sehr teuer und zeitaufwendig ist“, sagt Nilsson. „Die Arbeit digital durchführen zu können, ist ein ungeheurer Game-Changer.“
Nachdem das digitale Ebenbild des Schamanen vollendet war, konnte Nilsson dieselben Stilelemente auf das physische Modell übertragen, um den traditionellen 3D-Rekonstruktionsprozess abzuschließen.
„Der gesamte Prozess im MetaHuman Creator war unglaublich. Normalerweise würde ich die ganze Arbeit selbst von Hand erledigen, was sehr teuer und zeitaufwendig ist“, sagt Nilsson. „Die Arbeit digital durchführen zu können, ist ein ungeheurer Game-Changer.“
Interaktion mit Geschichte in Echtzeit
Das Team übertrug das digitale Modell dann in die Unreal Engine, wo es eine virtuelle Umgebung mit realistischer Beleuchtung erschuf. Dann konnte der Schamane von Hand animiert werden, wobei das MetaHuman-Gesichts-Rig oder das kostenlose Live Link Face zum Einsatz kommen kann. Bei Letzterem brauchen Sie lediglich ein iPad oder iPhone, um Gesichtsanimationen aufzuzeichnen und in der Unreal Engine in Echtzeit auf einen Charakter zu übertragen.Die virtuellen und physischen Modelle wurden gleichzeitig entwickelt und schließlich auf der Dubai Expo 2020 von der nationalen Entwicklerplattform Serbia Creates vorgestellt. Die Plattform hatte das Projekt langfristig unterstützt. In der Ausstellung konnten Besucher ihre eigenen Mimiken per iPhone aufnehmen und sehen, wie der digitale Schamane sie als Echtzeit-Animation nachmachte.
„Wenn niemand mit ihm interagierte, dann ließen wir ihn gähnen oder andere Gesichtsbewegungen machen, die wir von seinen MetaHuman-Kameraden ausgeborgt hatten“, sagt Adam Kovač, Solutions Specialist bei 3Lateral. „Es war unglaublich erhebend, ihn lächeln zu sehen.“
„Wenn niemand mit ihm interagierte, dann ließen wir ihn gähnen oder andere Gesichtsbewegungen machen, die wir von seinen MetaHuman-Kameraden ausgeborgt hatten“, sagt Adam Kovač, Solutions Specialist bei 3Lateral. „Es war unglaublich erhebend, ihn lächeln zu sehen.“
Stefanović stimmt dem voll und ganz zu. „Noch nie zuvor hatten wir die Möglichkeit, selbst zu sehen, wie unsere uralten Vorfahren ausgesehen haben, wenn sie Gefühle zum Ausdruck brachten“, sagte sie.
Das interaktive Modell wird nun im serbischen Nationalmuseum in Belgrad ausgestellt und ist Teil der Sammlung der Artefakte aus Lepenski Vir.
Das MetaHuman-Framework erfährt beträchtliches Interesse aus der Spiele- und Film- und Fernsehbranche. Der Schamane aus Lepenski Vir zeigt aber, dass die Technologie auch die Verwirklichung innovativer Projekte in traditionelleren Gebieten wie Archäologie und Forensik unterstützen kann. Das Team hofft, dass die bahnbrechende Rekonstruktionsarbeit die Fantasie weiterer Pioniere in anderen Bereichen beflügeln kann. „Wir sehen bereits Teams, die Anwendungsmöglichkeiten in der Medizin, im Automobildesign und sogar in der Psychologieforschung erkunden“, sagt Kovač. „Was mit der Technologie als Nächstes gemacht wird, hängt ganz allein von uns Nutzern ab.“
Das interaktive Modell wird nun im serbischen Nationalmuseum in Belgrad ausgestellt und ist Teil der Sammlung der Artefakte aus Lepenski Vir.
Das MetaHuman-Framework erfährt beträchtliches Interesse aus der Spiele- und Film- und Fernsehbranche. Der Schamane aus Lepenski Vir zeigt aber, dass die Technologie auch die Verwirklichung innovativer Projekte in traditionelleren Gebieten wie Archäologie und Forensik unterstützen kann. Das Team hofft, dass die bahnbrechende Rekonstruktionsarbeit die Fantasie weiterer Pioniere in anderen Bereichen beflügeln kann. „Wir sehen bereits Teams, die Anwendungsmöglichkeiten in der Medizin, im Automobildesign und sogar in der Psychologieforschung erkunden“, sagt Kovač. „Was mit der Technologie als Nächstes gemacht wird, hängt ganz allein von uns Nutzern ab.“