私たちは出土したものから歴史を理解してきましたが、古代人の顔を見ることができたとしたら、どうなるのでしょうか？古代人が表情筋を動かして驚きや怒りや恐怖を表したり、微笑みかけたりしたら、どうなるでしょうか？このような質問は、ベオグラード大学の考古学科の自然人類学の教授である Sofija Stefanović 氏とそのチームが、セルビアの有名な レペンスキ ビール 遺跡で 1 万年前のシャーマンの顔の復元という先駆的な作業に着手したときに、投げかけられたものです。
セルビアに拠点を置く 3Lateral 社はデジタル ヒューマン テクノロジーの優れた開発企業であり、現在は、Epic Games の一員となり、プロジェクトで Stefanović 氏と提携しています。3Lateral のチームは、Epic Games ファミリーの一員である Cubic Motion、および Unreal Engine のチームと連携して、MetaHuman フレームワークを開発し、昨年、早期アクセスで無料のクラウドベースのアプリ MetaHuman Creator を公開しました。MetaHuman Creator を使用すると、スキャンしたデータのデータベースから、誰でも忠実度の高い独自のデジタル ヒューマンを数分で作成することができます。
最新の MetaHuman リリース では、MetaHuman Creator の新機能を提供しただけでなく、Unreal Engine 用の新しい MetaHuman プラグインもリリースしました。このプラグインの最初の主要機能は Mesh to MetaHuman で、シャーマンを再アニメートするために使用されている中核となるテクノロジーを共有しています。このエキサイティングな開発はすべての人が自由に利用でき、これを使用すると、独自のカスタム モデルから MetaHuman を作成し、専門知識がなくても、同様なプロジェクトを完了することができます。
最新の MetaHuman リリース では、MetaHuman Creator の新機能を提供しただけでなく、Unreal Engine 用の新しい MetaHuman プラグインもリリースしました。このプラグインの最初の主要機能は Mesh to MetaHuman で、シャーマンを再アニメートするために使用されている中核となるテクノロジーを共有しています。このエキサイティングな開発はすべての人が自由に利用でき、これを使用すると、独自のカスタム モデルから MetaHuman を作成し、専門知識がなくても、同様なプロジェクトを完了することができます。
従来の技術を使用した顔の復元
ドナウ川沿岸のセルビア東部のレペンスキ ビール集落は、1960 年代に初めて発見されました。これは、東ヨーロッパの初期の先史文化の発展を示す、歴史的に大きな意義のある遺跡です。約 500 体の白骨化した遺体が発掘され、その中には、蓮華座を組んだまま発見され、独特の姿勢のために「シャーマン」と呼ばれるようになった人骨がありました。そのシャーマンが生きていたのは、紀元前 8,000 年頃と考えられています。専門家たちは、骨から身長、体重、主に海産物を摂って生活していたことまでも究明することができました。復元を開始するにあたり、専門家チームは、元の先史時代の頭蓋骨の完全性を保持するために、正確なレプリカを作る必要がありました。セルビアのノヴィ サド市にある BioSense Institute の考古学者である Jugoslav Pendić 氏のアドバイスのもと、フルフレーム カメラを使用して 2D イメージを多数キャプチャすることで、チームは先史時代のシャーマンの顔の特徴を再現し始めました。RealityCapture にインポートすることで 3D の仮想モデルを形成し、その後、3D プリントで物理モデルを生成しました。
頭蓋骨のレプリカは、スウェーデンのフォレンジック アーティストで考古学者でもある Oscar Nilsson 氏に渡されました。氏は世界中の博物館の古代人の顔を復元する専門家です。Nilsson 氏は、顔の法医学的な復元を開始し、粘土で筋肉や肌の層を加え、性別や年齢、民族からその厚さを判断し、体重を推定しました。
スタティック メッシュをアニメーション可能なモデルに調整する
実際のシャーマンのモデルに命を吹き込むために、粘土による復元 (肌テクスチャや髪のない状態) を再度 Peel スキャナーでスキャンして RealityCapture で復元し、デジタル モデルを作成しました。基本的な肌のテクスチャと目を入れて (次のステップに必要)、Mesh to MetaHuman プロセスでメッシュを設定しました。Mesh to MetaHuman で、Unreal Engine 5 の自動ランドマーク トラッキングを使用して、MetaHuman トポロジ テンプレートをシャーマンのスキャンに適合させました。この新しいメッシュをクラウドに送信し、シャーマンと同じフェイシャル ジオメトリと比率で MetaHuman に合わせ、自動的に MetaHuman のフェイシャル リグに関連付けました。MetaHuman Creator の実際の人間の表情のスキャンを格納する膨大なデータベースを使用したテクノロジーは、「統計的に推測した古代人の表情」を作り出す一方で、元の姿を保持するための差分デルタを維持しています。このプロセスの仕組みの詳細については、チュートリアル を確認してください。
プロセスが完了すると、キャラクターを MetaHuman Creator で開くことができるようになります。アプリケーションが提供するプリセット アニメーションをいくつか使用して、[Play (プレイ)] ボタンを押すと、即座にシャーマンに命が吹き込まれました。
MetaHuman Creator を使用して見た目を調整する
次に、考古学者、法医学専門家、MetaHuman キャラクター アーティストと共同セッションを行って、チームは MetaHuman Creator 内のシャーマンの髭とスキン プロパティの外観を絞り込みました。利用可能な DNA の分析により、「浅黒い」肌、黒髪、茶色の目を持っていることが示されました。「90 パーセント以上の正確さで肌、髪、目の色を推測することができます」と Stefanović 氏は語ります。推定された年齢に基づいて皺や白髪が加えられ、頭蓋骨に基づいて歯が調整され、紀元前 8,000 年代に使われていたと思われる道具 (貝殻など) に基づいて、髪の毛や髭が調整されました。
シャーマンのデジタルの外観が完了すると、Nilsson 氏は同じスタイリングを物理モデルに適用して、従来の 3D 復元を完了しました。
「MetaHuman Creator での作業は非常に素晴らしいものでした。私は、通常、これを手作業で行っていますが、非常にコストがかかり、時間もかかります」と Nilsson 氏は語ります。「これをデジタルで行えば、間違いなくゲーム チェンジャーになります」
シャーマンのデジタルの外観が完了すると、Nilsson 氏は同じスタイリングを物理モデルに適用して、従来の 3D 復元を完了しました。
「MetaHuman Creator での作業は非常に素晴らしいものでした。私は、通常、これを手作業で行っていますが、非常にコストがかかり、時間もかかります」と Nilsson 氏は語ります。「これをデジタルで行えば、間違いなくゲーム チェンジャーになります」
歴史とのリアルタイム インタラクション
次に、チームはデジタル モデルを Unreal Engine に取り込み、仮想環境をリアルなライティングで作成しました。MetaHuman のフェイシャル リグ または無料の Live Link Face アプリを使用して、シャーマンを手作業でアニメートしました。このアプリは、iPhone または iPad を使用して、フェイシャル アニメーションをキャプチャし、これを Unreal Engine のキャラクターにリアルタイムにストリーミングするものです。仮想モデルと物理モデルは並行して開発され、このプロジェクトの実現をサポートする、国のプラットフォーム Serbia Creates によって、最終的に Dubai Expo 2020 で発表されました。展示では、訪問客たちは iPhone で自分の表情をキャプチャして、デジタル シャーマンによってリアルタイムのアニメーションで画面に自分たちが映し出されるのを見ることができました。
「誰もシャーマンを操作していないとき、私たちは他の MetaHuman のアニメーションを借りて、シャーマンにあくびをさせたり、顔を伸ばしたりしました」と 3Lateral のソリューション スペシャリストである Adam Kovač 氏は語ります。「彼が微笑むと、本当にうれしくなります」
「誰もシャーマンを操作していないとき、私たちは他の MetaHuman のアニメーションを借りて、シャーマンにあくびをさせたり、顔を伸ばしたりしました」と 3Lateral のソリューション スペシャリストである Adam Kovač 氏は語ります。「彼が微笑むと、本当にうれしくなります」
Stefanović 氏も同意します。「私たちは、古代人がどのように感情を表すのかを見る機会を初めて得たのです」と彼女は言います。
インタラクティブな展示が、レペンスキ ビールの出土品のコレクションとともに、ベオグラードのセルビア国立博物館で現在、公開されています。
MetaHuman フレームワークがゲーム業界や映画業界から大きな注目を浴びている一方で、レペンスキ ビールのシャーマンは、考古学や法医学などの従来の分野でテクノロジーが革新的なプロジェクトをサポートする方法のヒントを示しています。チームは、画期的な復元が他のパイオニアたちの想像力を掻き立てて、さまざまな分野で実験的な試みが行われることを願っています。「私たちは医薬や自動車、心理学研究での使用を模索しています」と Kovač 氏は語ります。「ですから、今後どのように展開していくかは、ユーザー次第ですね」
インタラクティブな展示が、レペンスキ ビールの出土品のコレクションとともに、ベオグラードのセルビア国立博物館で現在、公開されています。
MetaHuman フレームワークがゲーム業界や映画業界から大きな注目を浴びている一方で、レペンスキ ビールのシャーマンは、考古学や法医学などの従来の分野でテクノロジーが革新的なプロジェクトをサポートする方法のヒントを示しています。チームは、画期的な復元が他のパイオニアたちの想像力を掻き立てて、さまざまな分野で実験的な試みが行われることを願っています。「私たちは医薬や自動車、心理学研究での使用を模索しています」と Kovač 氏は語ります。「ですから、今後どのように展開していくかは、ユーザー次第ですね」