数十年前まで、コンピューター グラフィックスの世界ではリアルなデジタル ヒューマンを制作することは、いわば聖杯のようなものでした。多くの場合、現実と見分けがつかないほどのデジタル ヒューマンを静止画像で作成するという目標は達成されています。しかし、そうしたキャラクターがパフォーマンスを行うために呼び出され、リアルタイムでレンダリングする必要性が生じた場合には特に、人間とはわずかに違うことで生まれる「不気味の谷」現象がゆっくりと顕在化することがよくありました。
Epic Games の MetaHuman チーム (デジタル ヒューマンのイノベーターである 3Lateral および Cubic Motion を含む) は、それによって生じるあらゆる課題を克服することを目指しています。まず、チームでは MetaHuman Creator を利用し、リアルなデジタル ヒューマンに誰もがアクセスできるようにしました。次に、Mesh to MetaHuman によってこのテクノロジーをさらに一歩前進させ、キャラクターのスカルプトまたは既存の人物のスキャンに基づいて MetaHuman を作成できるようにしたのです。
最近のリリースでは、MetaHuman Animator を導入したことで、ステレオ ヘッドマウント カメラ、または iPhone のみでも、俳優の演技をキャプチャし、MetaHuman の高忠実度のフェイシャル アニメーションに数分で変換できるようになりました。MetaHuman Animator は、俳優のあらゆる演技を忠実にデジタル キャラクターで再現しますが、これは、以前は専門家チームによる何か月もの作業が不可欠でした。
MetaHuman Animator の開発時には、これを限界まで優れたものにするため、セルビアを拠点とする 3Lateral のチームが同地のアーティストや映画制作者と協力し、Blue Dot を制作しました。この短編映画は、有名俳優 Radivoje Bukvić 氏と、撮影監督としてシネマトグラファー Ivan Šijak 氏を迎えて制作されました。全体的なシーケンスは、髪の毛を含めて Unreal Engine でレンダリングされ、リアルタイムで実行されます。
この映画には、MetaHuman Animator によって実現された、驚きの忠実度とインパクトを誇るシネマティックスの制作機能が示されています。ここでは、ディレクションや演技の撮影によって行う従来の映画制作で一般的な、クリエイティブなオンセット プロセスが活用されています。さらに、アニメーションはすぐに利用可能でありながら品質も高く、最終的な仕上げも小規模なアニメーターのチームによる作業で済みます。
Epic Games の MetaHuman チーム (デジタル ヒューマンのイノベーターである 3Lateral および Cubic Motion を含む) は、それによって生じるあらゆる課題を克服することを目指しています。まず、チームでは MetaHuman Creator を利用し、リアルなデジタル ヒューマンに誰もがアクセスできるようにしました。次に、Mesh to MetaHuman によってこのテクノロジーをさらに一歩前進させ、キャラクターのスカルプトまたは既存の人物のスキャンに基づいて MetaHuman を作成できるようにしたのです。
最近のリリースでは、MetaHuman Animator を導入したことで、ステレオ ヘッドマウント カメラ、または iPhone のみでも、俳優の演技をキャプチャし、MetaHuman の高忠実度のフェイシャル アニメーションに数分で変換できるようになりました。MetaHuman Animator は、俳優のあらゆる演技を忠実にデジタル キャラクターで再現しますが、これは、以前は専門家チームによる何か月もの作業が不可欠でした。
MetaHuman Animator の開発時には、これを限界まで優れたものにするため、セルビアを拠点とする 3Lateral のチームが同地のアーティストや映画制作者と協力し、Blue Dot を制作しました。この短編映画は、有名俳優 Radivoje Bukvić 氏と、撮影監督としてシネマトグラファー Ivan Šijak 氏を迎えて制作されました。全体的なシーケンスは、髪の毛を含めて Unreal Engine でレンダリングされ、リアルタイムで実行されます。
この映画には、MetaHuman Animator によって実現された、驚きの忠実度とインパクトを誇るシネマティックスの制作機能が示されています。ここでは、ディレクションや演技の撮影によって行う従来の映画制作で一般的な、クリエイティブなオンセット プロセスが活用されています。さらに、アニメーションはすぐに利用可能でありながら品質も高く、最終的な仕上げも小規模なアニメーターのチームによる作業で済みます。
従来の映画制作手法をデジタル プロダクションに活用
プロジェクトの開始にあたり、3Lateral においては、Bukvić 氏の映像が同社のカスタム 4D スキャニング技術を使ってキャプチャされました。3Lateral のチームはこのデータから専用の MetaHuman リグを作成しました。キャプチャされた演技から MetaHuman Animator によって作成されたデータは、どのようなデジタル キャラクターにも適用できます (MetaHuman のフェイシャルの描写基準に対応するコントロール ロジックを持つフェイシャル リグがある場合)。これには、MetaHuman Creator や Mesh to MetaHuman で作成されたものが含まれます。作品が完全にデジタルであるにもかかわらず、Šijak 氏とチームは、プロセス全体で従来の映画制作の経験を大いに活用しています。
ライブアクション撮影で行うのとまったく同様のライティングをデザインするため、物理的なライトを持ち込み、Bukvić 氏で表現したいビジュアルになるように調整しました。選択したライティング設定を Unreal Engine でデジタルに再現することで、Bukvić 氏のアニメートされた MetaHuman でのライティングの効果は迅速にプレビューすることができました。また、それだけにとどまらず、俳優はモーション キャプチャ セットで必要に応じてそのまま別のテイクを撮影することもできたのです。そしてもちろん、物理的なライティングとは異なり、撮影後でもこのライティングは微調整できます。Šijak 氏はこの利点を実際に活用していました。
「俳優へのライティングの結果は、撮影時にライティングがなくても後から変更できるので、このような環境は最適です」と彼は述べています。「自然に感じられ、ワークフローも本当に素晴らしいものです」
さらにリアルなものにするため、ドーリー トラックを備えた実物の映画撮影用カメラを Mocap スタジオに持ち込みました。これらは、Bukvić 氏の体や顔と同様にトラッキングされていました。これによって、チームはカメラの動きを Unreal Engine で正確に再現できるようになり、Bukvić 氏の MetaHuman はカメラに向かって直接演技を行うことが可能になりました。
「演技における主な原動力は、想像力です」と彼は語ります。「自分の感情に従えば、カメラの前で体が自然に動きます。この作品で、私は自分の内なる世界を模索したわけですが、その成果は本当に驚くべきものになりました」
「クローズアップでの撮影は、動画や映画のベースとなるものです」と Šijak 氏は述べます。「それは、視聴者がキャラクターとコミュニケーションし、感情をやりとりする方法であり、すべてが現れるところなのです」
クローズアップで表す人間味
チームが抱えていた大きな課題は、キャラクターの表情に主として全体的にフォーカスしなければならなかったことでしょう。「クローズアップでの撮影は、動画や映画のベースとなるものです」と Šijak 氏は述べます。「それは、視聴者がキャラクターとコミュニケーションし、感情をやりとりする方法であり、すべてが現れるところなのです」
3Lateral Business の開発リードである Uroš Sikimić 氏は、MetaHuman Animator の開発を進めるためにどのようにこの課題が生かされたかを説明しています。「人間の表情というものは、とてつもなく複雑です」と彼は語ります。「人間の表情をつくる個々の筋肉の動きを手作業で再現するのではなく、そのあらゆる情報を分析できる強力なツールが必要でした」
そこから話をさらに広げたのは、3Lateral でアート ディレクターを務める Aleksandar Popov 氏です。「最も重要な要素は、もちろん目です」と彼は語ります。「全体的な印象をつくるのも壊すのも、ここにかかっています。そのため、こうした芸術的な観点から実際のデザインで多数の取り組みを行い、残った部分をテクノロジーで処理するようにしました」
Bukvić 氏の顔の演技は、ステレオ ヘッドマウント カメラのペアによって録画されました。その動画と計算された深度データはその後、MetaHuman Animator で 4D ソルバを使用して処理され、パフォーマンスの細かな部分やニュアンスをキャプチャし、視線の動きまでも再構築されました。
ここで MetaHuman Animator を活用したことにより、その結果は数分で確認できるようになりました。必要に応じて、アニメーションは Unreal Engine でさらに洗練したりドラマチックなエフェクトを追加したりするために微調整することが可能ですが、Blue Dot チームは、MetaHuman Animator による出力を仕上げるのに必要な手作業が最小限で済むことを認識しました。
「あんなにも演技が自然になるとは、思いもよりませんでした」と Bukvić 氏は語っています。「どんな細かい部分も反映されているのを見て、すっかり驚いてしまいました」
この結果の即時性と、これによる反復的プロセスがアーティスト、アニメーター、および俳優の間で促進され、さらにキャプチャの忠実度と相まって、MetaHuman Animator は、シネマティックスの制作のための強力なツールとなっています。アニメーション スタジオはセットで俳優と協力し、クリエイティブな直感に従って演技指導を行えば、それがアニメートされたコンテンツへと忠実に変換され、感動を生むシネマティック作品を制作できます。
「出力されたコンテンツの品質は、このテクノロジーを利用して完成されたものなのか、実際のカメラを使ってオンセットで撮影されたものなのか、見分けがつきません」と Šijak 氏は語ります。 「カメラワークや俳優のパフォーマンスなど、すべてが視聴者をショットに引き込むのです。失われるものはありません」
この結果の即時性と、これによる反復的プロセスがアーティスト、アニメーター、および俳優の間で促進され、さらにキャプチャの忠実度と相まって、MetaHuman Animator は、シネマティックスの制作のための強力なツールとなっています。アニメーション スタジオはセットで俳優と協力し、クリエイティブな直感に従って演技指導を行えば、それがアニメートされたコンテンツへと忠実に変換され、感動を生むシネマティック作品を制作できます。
「出力されたコンテンツの品質は、このテクノロジーを利用して完成されたものなのか、実際のカメラを使ってオンセットで撮影されたものなのか、見分けがつきません」と Šijak 氏は語ります。 「カメラワークや俳優のパフォーマンスなど、すべてが視聴者をショットに引き込むのです。失われるものはありません」
iPhone で実現する高品質のフェイシャル アニメーション
MetaHuman Animator の優れた点のひとつは、本格的なステレオ ヘッドマウント カメラやその他の高価なハードウェアが必要でなく、iPhone (12 以降) とデスクトップ PC があれば利用できることです。つまり、自宅にすでにある機器を使用し、Unreal Engine で MetaHuman キャラクターを利用することで独自のシネマティックス作品を制作できます。MetaHuman コミュニティ ハブでは、利用を開始する方法の詳細を確認したり、ドキュメントの全文を閲覧したり、自分のプロジェクトについて他のデベロッパーやクリエイターとディスカッションを行ったりすることができます。