Wie wäre es, wenn ihr die Darstellung eines Schauspielers aufnehmen und in Minutenschnelle in eine lebensechte Gesichtsanimation für euren MetaHuman verwandeln könntet – mit nichts als einem iPhone und einem PC?
MetaHuman Animator macht es möglich!
Die neueste Version der schnellen und einfachen Pipeline für digitale Menschen wurde erstmals auf der GDC 2023 vorgestellt und bietet hochwertige Performance-Capture für MetaHumans.
Probiert es selbst aus und erkundet auf eigene Faust – oder besucht unseren neuen MetaHuman-Hub der Epic Entwickler-Community und erlernt dort die Grundlagen, sprecht mit anderen MetaHuman-Nutzern und lest die Dokumentation.
MetaHuman Animator macht es möglich!
Die neueste Version der schnellen und einfachen Pipeline für digitale Menschen wurde erstmals auf der GDC 2023 vorgestellt und bietet hochwertige Performance-Capture für MetaHumans.
Probiert es selbst aus und erkundet auf eigene Faust – oder besucht unseren neuen MetaHuman-Hub der Epic Entwickler-Community und erlernt dort die Grundlagen, sprecht mit anderen MetaHuman-Nutzern und lest die Dokumentation.
Mit dem neuen Funktionsset MetaHuman Animator könnt ihr die Darstellung eines Schauspielers mit einem iPhone oder einem am Kopf befestigten Stereo-Kamerasystem (HMC) aufnehmen und sie als lebensechte Gesichtsanimation auf jeden MetaHuman-Charakter übertragen, ohne selbst Hand anlegen zu müssen.
Die subtilsten Ausdrücke, Blicke und Gefühlsregungen werden präzise aufgenommen und auf eurem digitalen Menschen getreu wiedergegeben. Das Beste dabei: Es ist ganz einfach und unkompliziert – jeder kann unglaubliche Ergebnisse erzielen.
Falls ihr mit Performance-Capture noch keine Erfahrung habt, ist MetaHuman Animator eine bequeme Methode, euren MetaHumans Gesichtsanimationen zu verleihen, die auf echter Mimik in der realen Welt basieren.
Und wenn ihr bereits mit Performance-Capture arbeitet, wird dieses Funktionsset euren bisherigen Capture-Arbeitsablauf deutlich verbessern, Zeit- und Arbeitsaufwand verringern und euch mehr kreative Kontrolle bieten. Verwendet MetaHuman Animator einfach mit eurer bisherigen am Kopf befestigten, vertikalen Stereo-Kamera, um noch realistischere Ergebnisse zu erzielen.
Seid ihr neugierig geworden? Hier kommt ein tieferer Einblick …
Lebensechte Gesichtsanimation – leicht gemacht
Bisher brauchte ein Team von Experten mehrere Monate, um alle Feinheiten der Darstellung eines Schauspielers originalgetreu auf einen digitalen Charakter zu übertragen. Jetzt erledigt MetaHuman Animator in einem Bruchteil der Zeit die Schwerarbeit für euch – und mit weitaus weniger Aufwand.Das neue Funktionsset kombiniert mithilfe eines 4D-Solver-Programms die Video- und Tiefendaten mit einem MetaHuman-Abbild des Schauspielers. Eine lokale Grafikkarte erzeugt die Animation und in wenigen Minuten steht das Ergebnis zur Verfügung.
Das alles geschieht unsichtbar – eure Aufgabe beschränkt sich darauf, die Kamera auf den Schauspieler zu richten und die Aufnahme zu starten. Sobald die Aufnahme fertig ist, überträgt MetaHuman Animator die individuellen Züge und Nuancen der Darstellung präzise auf jeden beliebigen MetaHuman-Charakter.
Außerdem sind die Animationsdaten semantisch korrekt, indem sie die Bewegungen den entsprechenden Steuerungselementen zuordnen, und sie sind zeitlich kohärent und haben sanfte Steuerungsübergänge. Damit ist es einfach, die Animation mit nachträglichen Anpassungen zu optimieren.
Wollt ihr sehen, was mit MetaHuman Animator und einer Highend-Ausrüstung möglich ist?
Wir stellen vor: Blue Dot, ein Kurzfilm, der vom 3Lateral-Team von Epic Games in Zusammenarbeit mit serbischen Künstlern kreiert wurde, darunter auch der bekannte Schauspieler Radivoje Bukvić, der einen Monolog nach einem Gedicht von Mika Antić führt. Die Darbietung wurde auf der Mocap-Bühne des Take One Studios gefilmt, wobei Filmemacher Ivan Šijak die Rolle des Kameramanns übernahm.
Diese facettenreichen Ergebnisse zeigen das Maß an Detailtreue, das Künstler und Filmemacher erwarten können, wenn sie MetaHuman Animator mit einem am Kopf befestigten Stereo-Kamerasystem und traditionellen Filmtechniken verwenden.
Darüber hinaus erzielte das Team diese beeindruckende Animationsqualität mit minimalen Eingriffen in die Ergebnisse des MetaHuman Animator.
Gesichtsanimationen für jeden MetaHuman
Die Gesichtsanimationen, die ihr mit MetaHuman Animator aufnehmt, können mit wenigen Klicks auf jeden MetaHuman-Charakter bzw. auf alle Charaktere, die den neuen MetaHuman-Standard für Gesichtsdarstellung verwenden, angewendet werden. Das heißt, ihr könnt eure Charaktere beliebig gestalten und euch darauf verlassen, dass die verwendete Gesichtsanimation funktioniert.
Ein kleiner technischer Exkurs: Das ist möglich, weil Mesh to MetaHuman jetzt aus nur drei Einzelbildern eines Videos mit den dazugehörigen Tiefendaten, die ihr mit eurem iPhone aufgenommen habt oder die aus den Daten eurer am Kopf befestigten, vertikalen Stereo-Kamera rekonstruiert wurden, eine MetaHuman Identity erstellen kann.
Das Solver-Programm wird dann an den Schauspieler angepasst und der MetaHuman Animator kann Animationen erstellen, die mit jedem MetaHuman-Charakter reproduziert werden können. Das Programm kann sogar anhand des Tons überzeugende Zungenanimationen erstellen.
Aufnahmen mit einem iPhone
Wir wollen, dass Gesichts-Performance-Capture kein Spezialgebiet für Experten mit Highend-Capture-Systemen bleibt, sondern allen Creators zugänglich ist.
Zu Anfang braucht ihr für MetaHuman Animator nicht mehr als ein iPhone (ab iPhone 12) und einen Desktop-PC. Das ist möglich, weil wir die iOS-App Live Link Face aktualisiert haben und sie jetzt Video-Rohdaten und Tiefendaten aufnehmen kann, die dann vom Gerät zur Weiterverarbeitung direkt in Unreal Engine eingespeist werden.
Ihr könnt MetaHuman Animator auch mit eurem bisherigen am Kopf befestigten, vertikalen Stereo-Kamerasystem verwenden, um noch realistischere Ergebnisse zu erzielen.
Zu Anfang braucht ihr für MetaHuman Animator nicht mehr als ein iPhone (ab iPhone 12) und einen Desktop-PC. Das ist möglich, weil wir die iOS-App Live Link Face aktualisiert haben und sie jetzt Video-Rohdaten und Tiefendaten aufnehmen kann, die dann vom Gerät zur Weiterverarbeitung direkt in Unreal Engine eingespeist werden.
Ihr könnt MetaHuman Animator auch mit eurem bisherigen am Kopf befestigten, vertikalen Stereo-Kamerasystem verwenden, um noch realistischere Ergebnisse zu erzielen.
Ganz gleich, ob ihr ein iPhone oder eine Stereo-HMC verwendet, MetaHuman Animator macht euren Capture-Arbeitsablauf schneller und einfacher. Das gibt euch die Flexibilität, die Hardware auszuwählen, die sich am besten für die Anforderungen an eure Aufnahmen und den angestrebten Grad von Realismus eignet.
Die aufgenommenen Animationsdaten unterstützen Timecodes. Das bedeutet, dass Gesichtsanimationen mühelos mit Körper-Motion-Capture und Ton synchronisiert werden können, um eine vollständige Charakterdarstellung zu erzeugen.
Die aufgenommenen Animationsdaten unterstützen Timecodes. Das bedeutet, dass Gesichtsanimationen mühelos mit Körper-Motion-Capture und Ton synchronisiert werden können, um eine vollständige Charakterdarstellung zu erzeugen.
Perfekt, um am Set kreative Entscheidungen zu treffen
MetaHuman Animator eignet sich perfekt für die kreative Arbeit am Set, denn er ermöglicht euch, Gesichtsanimationen schnell zu bearbeiten und auf jeden MetaHuman-Charakter zu übertragen.Wollt ihr, dass ein Schauspieler euch mehr gibt, andere Gefühle ausdrückt oder einfach mal etwas Neues ausprobiert? Macht einfach eine weitere Aufnahme. Ihr könnt die Ergebnisse so schnell begutachten, wie es dauert, eine Tasse Kaffee zu machen.
Da die Animationsdaten in Unreal Engine direkt während der Dreharbeiten überprüft werden können, könnt ihr die Qualität der Aufnahme lange vor der Animation des endgültigen Charakters bewerten.
Und da ihr Aufnahmen wiederholen könnt, während der Schauspieler noch auf der Bühne steht, könnt ihr sofort den besten Dreh machen, anstatt Kosten und Zeit aufzuwenden, um alle später noch einmal zu versammeln.
Neuer Arbeitsablauf für benutzerdefinierte Charaktere in Mesh to MetaHuman
Bei dieser Version geht es aber nicht nur um MetaHuman Animator. Wir haben außerdem Mesh to MetaHuman erweitert, damit ihr direkt die Punktpositionen im Vorlagenmesh setzen könnt.Mesh to MetaHuman führt ein Fit aus, mit dem es jede Topologie verwenden kann, was jedoch bedingt, dass das Volumen eures Input-Meshs angenähert wird. In dieser Version könnt ihr das Vorlagenmesh festlegen und solange es sich streng an die Topologie von MetaHuman hält, wird dann exakt dieses Mesh geriggt und keine Annäherung.
Im Zusammenspiel mit der Fähigkeit von DNACalib, die neutrale Pose für Mesh und Gelenke festzulegen, können Experten jetzt im Handumdrehen benutzerdefinierte Charaktere anlegen.
Möchtet ihr mehr erfahren? Auf unserem neuen MetaHuman-Hub könnt ihr euch jetzt sofort die Dokumentation für diesen und alle weiteren Aspekte des MetaHuman-Frameworks nachlesen. Ihr findet sie in der Entwickler-Community von Epic, eurer zentralen Anlaufstelle, um mehr über Epic-Tools zu erfahren und Wissen auszutauschen. Sie bietet auch Foren, an denen ihr eure Werke zeigen oder Fragen stellen könnt, sowie einen Tutorial-Bereich mit Tutorial-Inhalten von Epic und Nutzern.