Spotlight
20. September 2023
Ein Blick hinter die Kulissen von Blue Dot: MetaHuman Animator sorgt für atemberaubend realistische Filmsequenzen
In der Welt der Computergrafik gilt die Erschaffung realistischer digitaler Menschen bereits seit einigen Jahrzehnten als der heilige Gral. Vielen ist es mittlerweile gelungen, Standbilder von digitalen Menschen zu kreieren, die sich von der Wirklichkeit nicht mehr unterscheiden lassen. Sobald die Figuren sich jedoch bewegen sollen – besonders wenn diese Bewegungen auch noch in Echtzeit gerendert werden sollen – stellt sich oft der sogenannt „Uncanny Valley“-Effekt ein: Der (wenn auch geringe) Unterschied zu echten Menschen verleiht der Figur eine unheimliche Note, die sie trotz des hohen Realismus weniger sympathisch macht.
Das MetaHuman-Team von Epic Games mit 3Lateral und Cubic Motion, beides Innovatoren im Bereich digitale Menschen, will das ändern. Im ersten Schritt hat das Team mit MetaHuman Creator die Erstellung von realistischen digitalen Menschen deutlich zugänglicher gemacht. Mesh to MetaHuman stellt die Weiterentwicklung dieser Technologie dar und lässt euch mithilfe einer modellierten Figur oder des Scans einer existierenden Person einen MetaHuman erstellen.
In der jüngsten Version hat das Team MetaHuman Animator vorgestellt, mit dem man mithilfe einer am Kopf befestigten Stereo-Kamera oder sogar nur eines iPhones die Darbietung eines Schauspielers aufnehmen und dann in Minutenschnelle in eine lebensechte Gesichtsanimation für einen MetaHuman verwandeln kann. MetaHuman Animator überträgt die Mimik mit sämtlichen Nuancen auf einen digitalen Charakter. Für ein ähnliches Ergebnis war bisher ein Expertenteam mehrere Monate lang beschäftigt.
Um MetaHuman Animator während der Entwicklungsphase an seine Grenzen zu bringen, arbeitete das Team des serbischen Unternehmens 3Lateral mit lokalen Schauspielern und Filmemachern zusammen. Gemeinsam produzierten sie Blue Dot, einen Kurzfilm mit dem bekannten Schauspieler Radivoje Bukvić und Bildregisseur Ivan Šijak. Die gesamte Sequenz, einschließlich der Haare, wurde in Unreal Engine gerendert und läuft in Echtzeit.
Der Film demonstriert, wie MetaHuman Animator es Teams ermöglicht, verblüffend realistische und eindrucksvolle Filmsequenzen zu schaffen, wobei sie wie bei traditionellen Dreharbeiten in einem kreativen Prozess am Set die Darstellung inszenieren und aufzeichnen. Darüber hinaus war die Animationsqualität nach der Aufzeichnung bereits so hoch, dass für den finalen Feinschliff lediglich ein kleines Animations-Team notwendig war.
Das MetaHuman-Team von Epic Games mit 3Lateral und Cubic Motion, beides Innovatoren im Bereich digitale Menschen, will das ändern. Im ersten Schritt hat das Team mit MetaHuman Creator die Erstellung von realistischen digitalen Menschen deutlich zugänglicher gemacht. Mesh to MetaHuman stellt die Weiterentwicklung dieser Technologie dar und lässt euch mithilfe einer modellierten Figur oder des Scans einer existierenden Person einen MetaHuman erstellen.
In der jüngsten Version hat das Team MetaHuman Animator vorgestellt, mit dem man mithilfe einer am Kopf befestigten Stereo-Kamera oder sogar nur eines iPhones die Darbietung eines Schauspielers aufnehmen und dann in Minutenschnelle in eine lebensechte Gesichtsanimation für einen MetaHuman verwandeln kann. MetaHuman Animator überträgt die Mimik mit sämtlichen Nuancen auf einen digitalen Charakter. Für ein ähnliches Ergebnis war bisher ein Expertenteam mehrere Monate lang beschäftigt.
Um MetaHuman Animator während der Entwicklungsphase an seine Grenzen zu bringen, arbeitete das Team des serbischen Unternehmens 3Lateral mit lokalen Schauspielern und Filmemachern zusammen. Gemeinsam produzierten sie Blue Dot, einen Kurzfilm mit dem bekannten Schauspieler Radivoje Bukvić und Bildregisseur Ivan Šijak. Die gesamte Sequenz, einschließlich der Haare, wurde in Unreal Engine gerendert und läuft in Echtzeit.
Der Film demonstriert, wie MetaHuman Animator es Teams ermöglicht, verblüffend realistische und eindrucksvolle Filmsequenzen zu schaffen, wobei sie wie bei traditionellen Dreharbeiten in einem kreativen Prozess am Set die Darstellung inszenieren und aufzeichnen. Darüber hinaus war die Animationsqualität nach der Aufzeichnung bereits so hoch, dass für den finalen Feinschliff lediglich ein kleines Animations-Team notwendig war.
Digitale Produktionen mit traditionellen Filmtechniken
Zum Start des Projekts wurde Bukvić im Studio von 3Lateral mithilfe der proprietären 4D-Technik des Unternehmens eingescannt. Das Team von 3Lateral hat aus diesen Daten ein maßgeschneidertes MetaHuman-Modell geschaffen, doch die mit MetaHuman Animator erstellten Animationsdaten von einer Aufnahme lassen sich auf jeden beliebigen digitalen Charakter übertragen, dessen Gesichts-Rigging die Kontrolllogik des MetaHuman-Standards für Gesichtsdarstellung verwendet – ganz gleich ob sie mit MetaHuman Creator oder Mesh to MetaHuman geschaffen wurden.Obwohl der Kurzfilm komplett digital gedreht wurde, verließen sich Šijak und sein Team während des Prozesses auf ihre Erfahrung mit traditionellen Filmtechniken.
Wie auch bei einem Realfilmdreh wurden echte Lichtquellen verwendet und angepasst, um Bukvić angemessen in Szene zu setzen. Die Beleuchtung wurde außerdem digital in Unreal Engine nachgebaut, sodass man schnell sehen konnte, wie das Licht mit Bukvićs animiertem MetaHuman interagierte. So konnte man bei Bedarf sofort eine neue Aufnahme machen, während der Schauspieler noch auf der Motion-Capture-Bühne stand. Und natürlich ließ sich die Beleuchtung – im Gegensatz zu realer Beleuchtung – auch im Nachhinein justieren. Šijak war sich dieser Vorteile durchaus bewusst.
„Wir konnten die Beleuchtung mit dem Schauspieler testen, ohne dass sie tatsächlich da war, und sie nachträglich ändern. So arbeiten zu können, ist fantastisch“, meint er. „Es wirkt natürlich und der Arbeitsablauf ist einfach genial.“
Zusätzlich wurden echte Kameras auf Schienen in das Motion-Capture-Studio gebracht, die für mehr Realismus sorgten. Auch sie wurden zusammen mit Bukvićs Körper und Gesicht aufgezeichnet. Auf diese Weise konnte das Team die Kamerabewegungen in Unreal Engine präzise nachstellen und Bukvićs MetaHuman interagiert direkt mit der Kamera.
„Bei der Schauspielerei ist Fantasie extrem wichtig“, so Bukvić. „Wenn man seinen Gefühlen folgt, bewegt sich der Körper vor der Kamera sehr spontan. [...] In diesem Werk wollte ich nur meine innere Welt erkunden, und das Ergebnis ist beeindruckend.“
„Nahaufnahmen stellen das Fundament für Filme und Kino dar“, erklärt Šijak. „So kann das Publikum mit dem Chrakter kommunizieren und Emotionen austauschen. Man sieht jede Einzelheit.“
Hautnah dabei
Die größte Herausforderung, die das Team sich selbst gesetzt hatte, bestand darin, dass die Sequenz sich fast ausschließlich auf das Gesicht des Charakters konzentrieren sollte.„Nahaufnahmen stellen das Fundament für Filme und Kino dar“, erklärt Šijak. „So kann das Publikum mit dem Chrakter kommunizieren und Emotionen austauschen. Man sieht jede Einzelheit.“
Business Development Lead Uroš Sikimić von 3Lateral führt aus, wie diese Herausforderung die Entwicklung von MetaHuman Animator angetrieben hat. „Das menschliche Gesicht ist unglaublich komplex“, sagt er. „Wir brauchten ein Werkzeug, das leistungsstark genug ist, um all diese Informationen zu analysieren, anstatt zu versuchen, jede einzelne Muskelbewegung eines menschlichen Gesichts manuell nachzustellen.“
Aleksandar Popov, Art Director bei 3Lateral, geht weiter ins Detail. „Die Augen sind natürlich ganz besonders wichtig“, meint er. „Von ihnen hängt die gesamte Glaubwürdigkeit ab. Daher haben wir viel Arbeit in das Design dieses künstlerischen Aspekts investiert und dann den Rest der Technologie überlassen.“
Bukvićs Gesicht wurde mithilfe von zwei Stereo-Kopfkameras aufgenommen. Das Video sowie die berechneten Tiefendaten wurden dann in MetaHuman Animator über ein 4D-Solver-Programm verarbeitet, das jedes noch so subtile Detail und alle Nuancen der Performance aufzeichnete und sogar die Augenbewegungen rekonstruierte.
Dank MetaHuman Animator lässt sich das Ergebnis innerhalb von Minuten überprüfen. Falls nötig, kann man die Animation in Unreal Engine weiter bearbeiten, um für Feinschliff oder eine dramatische Wirkung zu sorgen. Das Team hinter Blue Dot machte jedoch die Erfahrung, dass für den Animationsoutput von MetaHuman Animator kaum eine manuelle Bearbeitung erforderlich war.
„Ich hätte nicht erwartet, dass meine Darbietung so natürlich wirken würde“, meint Bukvić. „Es hat mich umgehauen, all die kleinen Details zu sehen.“
Die sofortige Verfügbarkeit der Ergebnisse, zusammen mit dem iterativen Prozess zwischen Grafikern, Animatoren und Schauspielern, den sie ermöglicht, und der Detailtreue der Aufnahmen macht MetaHuman Animator zu einem so leistungsstarken Werkzeug für Filmsequenzen. Animationsstudios können jetzt direkt mit einem Schauspieler bzw. einer Schauspielerin am Set arbeiten und deren kreative Intuition nutzen, um eine Darstellung zu inszenieren, die nuanciert auf die animierten Inhalte übertragen wird, um emotionale Sequenzen zu schaffen.
„Man kann die Qualität des Ergebnisses dieser Technologie nicht von echten Set-Aufnahmen mit einer Kamera unterscheiden“, so Šijak. „Die Kameraführung und die schauspielerische Leistung, alles, was das Publikum in seinen Bann zieht – nichts geht verloren.“
Die sofortige Verfügbarkeit der Ergebnisse, zusammen mit dem iterativen Prozess zwischen Grafikern, Animatoren und Schauspielern, den sie ermöglicht, und der Detailtreue der Aufnahmen macht MetaHuman Animator zu einem so leistungsstarken Werkzeug für Filmsequenzen. Animationsstudios können jetzt direkt mit einem Schauspieler bzw. einer Schauspielerin am Set arbeiten und deren kreative Intuition nutzen, um eine Darstellung zu inszenieren, die nuanciert auf die animierten Inhalte übertragen wird, um emotionale Sequenzen zu schaffen.
„Man kann die Qualität des Ergebnisses dieser Technologie nicht von echten Set-Aufnahmen mit einer Kamera unterscheiden“, so Šijak. „Die Kameraführung und die schauspielerische Leistung, alles, was das Publikum in seinen Bann zieht – nichts geht verloren.“
Hochwertige Gesichtsanimationen mit dem iPhone
Einer der Vorteile von MetaHuman Animator ist, dass keine professionelle Stereo-Kopfkamera oder teure Ausrüstung nötig ist: Die Software funktioniert auch mit einem iPhone (12 oder neuer) und einem Desktop-PC. Ihr könnt also mit einem beliebigen MetaHuman-Charakter in Unreal Engine eure eigenen cineastischen Meisterwerke kreieren, und zwar mit Geräten, die ihr eventuell schon besitzt.In unserem Community-Hub für MetaHuman erfahrt ihr alles über die ersten Schritte, könnt euch die vollständige Dokumentation durchlesen und eure Projekte mit anderen Entwicklern und Creators besprechen.