iPhone と PC のみを使って俳優のパフォーマンスをキャプチャし、ほんの数分で MetaHuman 用の高忠実度のフェイシャル アニメーションに変換できるとしたらどうでしょうか？
MetaHuman Animator ではそれが可能です！
GDC 2023 で初めて公開された MetaHuman Animator は、迅速で容易なデジタル ヒューマン パイプラインとして、MetaHuman のための忠実度の高いパフォーマンス キャプチャを実現します。
すぐに使用を開始してご自身で内容をチェックしたり、ヒントを学んだり、他の MetaHuman ユーザーにフィードバックを尋ねたりしてみてください。また、Epic Developer Community に新たに設けられた MetaHuman ハブ に収録されている各種ドキュメントもぜひお読みください。
MetaHuman Animator ではそれが可能です！
GDC 2023 で初めて公開された MetaHuman Animator は、迅速で容易なデジタル ヒューマン パイプラインとして、MetaHuman のための忠実度の高いパフォーマンス キャプチャを実現します。
すぐに使用を開始してご自身で内容をチェックしたり、ヒントを学んだり、他の MetaHuman ユーザーにフィードバックを尋ねたりしてみてください。また、Epic Developer Community に新たに設けられた MetaHuman ハブ に収録されている各種ドキュメントもぜひお読みください。
MetaHuman Animator は、iPhone またはステレオ ヘッドマウント カメラ (HMC) システムを使って俳優のパフォーマンスをキャプチャし、手動での作業を必要とせずに、それを高忠実度のフェイシャル アニメーションとしてあらゆる MetaHuman キャラクターに適用できる新機能セットです。
俳優のきめ細かな表現や表情、感情などをすべて正確にキャプチャし、それをデジタル ヒューマンで忠実に再現します。さらに優れた点として、シンプルで直感的な操作を通じて驚くような結果を実現できるため、あらゆるユーザーにご利用いただけます。
パフォーマンス キャプチャを始めたばかりの方でも、MetaHuman Animator を使用すれば、現実世界でのパフォーマンスに基づくフェイシャル アニメーションを MetaHuman に容易に適用できます。
パフォーマンス キャプチャの経験がある方も、この新機能セットを使用することで、既存キャプチャ ワークフローを大幅に改善して、時間と労力を削減しつつ、より独創的な調整を行うことができます。また、MetaHuman Animator とお使いの垂直型ヘッドマウント カメラを組み合わせれば、さらに優れたビジュアル忠実度を実現できます。
ご興味をお持ちになりましたか？もう少し詳しくご説明しましょう。
高忠実度のフェイシャル アニメーション — 簡単に作成
以前は、俳優のパフォーマンスのあらゆるニュアンスをデジタル ヒューマンで忠実に再現するには、専門家チームによる何か月もの作業が不可欠でした。今や、MetaHuman Animator を使ってこの煩雑な作業を一瞬にして完了できるため、負担を大幅に軽減できるようになりました。この新機能セットでは、4D ソルバを使って、パフォーマーを再現した MetaHuman に動画と深度データを組み合わせます。アニメーションは、わずか数分で利用可能になる最終的なアニメーションを使って GPU ハードウェアでローカルに生成されます。
すべての処理はプログラム内で行われるため、ユーザーはカメラを俳優に向けて、撮影ボタンを押すだけでほぼすべてが完了します。キャプチャが完了すると、MetaHuman Animator により、俳優のパフォーマンスの個性とニュアンスがあらゆる MetaHuman キャラクターで正確に再現されます。
さらに、アニメーション データは適切なリグ コントロールを使った意味論的に正しいものであり、時間的にも一貫性があり、制御トランジションもスムーズであるため、アニメーションを調整したい場合でもアート面の調整を容易に加えることができます。
ハイエンドな機器を使った場合には MetaHuman Animator では何ができるのでしょうか？
Epic Games の 3Lateral チームがセルビアのアーティストと共同制作した短編映像「Blue Dot」をご紹介します。このフィルムでは、セルビア出身の著名な俳優 Radivoje Bukvić 氏が詩人 Mika Antic の詩をベースにしたモノローグを演じています。このパフォーマンスは、Take One スタジオのモーション キャプチャー ステージで撮影され、シネマ フォトグラファーの Ivan Šijak 氏が撮影監督を務めました。
この繊細な表現を実現した短編映像は、MetaHuman Animator をステレオ ヘッドマウント カメラ システム、および従来の映画制作技術を併用した場合に、アーティストや映画制作者が期待できる忠実度のレベルを示しています。
さらに、チームは、MetaHuman Animator の結果を基にして、最小限の操作でこの印象的なアニメーション品質を実現することができました。
あらゆる MetaHuman に向けたフェイシャル アニメーション
MetaHuman Animator を使ってキャプチャしたフェイシャル アニメーションは、わずか数回のクリックであらゆる MetaHuman キャラクター、または MetaHuman の新しいフェイシャル記述標準に適合するキャラクターに適用できます。つまり、ユーザーはフェイシャル アニメーションを適用でき、それが正しく機能することを念頭に、それぞれ好きな方法でキャラクターをデザインできることを表しています。
この処理は、技術的には iPhone を使用してキャプチャされた深度データ、または垂直型ステレオ ヘッドマウント カメラからのデータで再構築された深度データを、動画のわずか 3 フレームとともに使用することで、Mesh to MetaHuman で MetaHuman Identity を作成できるようになったことで可能になりました。
これによってソルバが俳優に向けてカスタマイズされて、あらゆる MetaHuman キャラクターで機能するアニメーションを MetaHuman Animator で生成できるようになります。このオーディオを使ってリアルな舌のアニメーションを作成することもできます。
キャプチャに iPhone を使用
当社では、ハイエンドなキャプチャ システムを持つ専門家のみが得られるものからのフェイシャル パフォーマンス キャプチャを、あらゆるクリエイター向けに変換したいと考えています。
最もシンプルなセットアップとして、MetaHuman Animator は iPhone (12 以降) とデスクトップ PC だけでも使用することができます。このセットアップは、生の動画と深度データをキャプチャできるように Live Link Face iOS アプリを更新したことで実現しました。それらの情報は後にデバイスから Unreal Engine に直接転送されて処理されます。
また、MetaHuman Animator をお使いの垂直型ヘッドマウント カメラ システムと組み合わせて使用すると、さらに優れたビジュアル忠実度を実現できます。
最もシンプルなセットアップとして、MetaHuman Animator は iPhone (12 以降) とデスクトップ PC だけでも使用することができます。このセットアップは、生の動画と深度データをキャプチャできるように Live Link Face iOS アプリを更新したことで実現しました。それらの情報は後にデバイスから Unreal Engine に直接転送されて処理されます。
また、MetaHuman Animator をお使いの垂直型ヘッドマウント カメラ システムと組み合わせて使用すると、さらに優れたビジュアル忠実度を実現できます。
iPhone またはステレオ HMC のいずれを使用しているかにかかわらず、MetaHuman Animator ではキャプチャ ワークフローのスピードと使いやすさが改善されます。これにより、撮影の要件に最適なハードウェアや目的とするビジュアル忠実度を選択できる柔軟性が高まります。
キャプチャしたアニメーション データではタイムコードがサポートされるため、フェイシャル パフォーマンス アニメーションをボディ モーション キャプチャやオーディオと簡単に揃えることができ、完全なキャラクター パフォーマンスを実現できます。
キャプチャしたアニメーション データではタイムコードがサポートされるため、フェイシャル パフォーマンス アニメーションをボディ モーション キャプチャやオーディオと簡単に揃えることができ、完全なキャラクター パフォーマンスを実現できます。
現場でクリエイティブな選択を行うためのパーフェクトなツール
MetaHuman Animator はフェイシャル アニメーションを即座に処理して、あらゆる MetaHuman キャラクターにすばやく転送できるため、撮影現場でクリエイティブな作業を繰り返し行う場合に最適なツールです。俳優にさまざまなパフォーマンスを通じて異なる感情を表現してもらったり、まったく新しい方向性を見出したりする必要がある場合は、単に新たなテイクを撮るだけで、それらの結果を、コーヒーを入れるようなほんのわずかな時間でレビューすることができます。
Unreal Engine を使って撮影現場でレビューしたアニメーション データを使用すれば、最終的なキャラクターをアニメートする前に、余裕を持ってキャプチャの品質を評価できます。
また、俳優がまだステージに残っている間に必要に応じて再撮影して、最も適したテイクを撮影終了前にその場で得ることができるため、後日全員を集めるための費用や時間を費やさずに済みます。
カスタム キャラクター制作のための新しい Mesh to MetaHuman ワークフロー
今回のリリースで注目すべきは MetaHuman Animator だけではありません。Mesh to MetaHuman も拡張されており、テンプレート メッシュ ポイントの位置を直接設定できるようになりました。Mesh to MetaHuman ではあらゆるトポロジを使用可能にする自動調整が実行されますが、これによって必然的に入力メッシュのボリュームが近似されます。今回のリリースでは、テンプレート メッシュを設定して、それが MetaHuman のトポロジに厳密に準拠する場合は、近似値ではなくリギングされたそのメッシュを得ることができます。
メッシュとジョイントのニュートラルなポーズを設定するための DNA Calib 機能と連携させることで、デベロッパーはカスタム キャラクターの迅速な制作に集中できるようになります。
より詳細な資料ここでご紹介した機能や MetaHuman フレームワークの他の側面に関連するドキュメントは、当社が新たに設けた MetaHuman ハブ に収録されています。MetaHuman ハブは、Epic ツールについて学んだり、他のユーザーと情報交換したりするための「ワンストップ ショップ」である Epic Developer Community 内に設けられており、自分の作品を公開したり質問したりできるフォーラムや、Epic だけでなくユーザーによって作成されたチュートリアル コンテンツを含むチュートリアル セクションもホストされています。