메타휴먼 애니메이터는 iPhone이나 스테레오 헤드 마운트 카메라(Head-Mounted Camera, HMC) 시스템으로 배우의 연기를 캡처하고 수작업 없이 모든 메타휴먼 캐릭터에 고퀄리티 페이셜 애니메이션으로 적용할 수 있는 새로운 기능입니다.
이 새로운 기능을 사용하면, 모든 미묘한 표정, 모습, 감정을 정확하게 캡처하여 디지털 휴먼에 충실히 재현할 수 있습니다. 게다가, 간단하고 직관적이기 때문에 누구나 멋진 결과를 얻을 수 있습니다.
퍼포먼스 캡처가 처음이라면 메타휴먼 애니메이터를 사용하여 실제 연기를 기반으로 한 페이셜 애니메이션을 메타휴먼에 간편하게 적용할 수 있습니다.
이미 퍼포먼스 캡처를 해 보았다면 이 새로운 기능을 통해 기존의 캡처 워크플로를 크게 향상하고, 시간과 노력을 줄이며, 보다 창의적으로 제어할 수 있습니다. 메타휴먼 애니메이터를 기존의 버티컬 스테레오 헤드 마운트 카메라와 페어링하면 훨씬 뛰어난 퀄리티를 구현할 수 있습니다.
자세히 더 알아보겠습니다.
손쉽게 제작할 수 있는 고퀄리티 페이셜 애니메이션
기존에는 전문가로 구성된 팀이라도 배우의 연기에 담긴 모든 뉘앙스를 디지털 캐릭터에 충실히 재현하려면 수개월이 걸렸습니다. 이제 메타휴먼 애니메이터가 훨씬 적은 노력과 시간으로 이 어려운 작업을 대신 처리합니다.
이 새로운 기능은 4D 솔버를 사용해 비디오와 뎁스 데이터를 연기자의 메타휴먼 캐릭터와 결합합니다. 애니메이션은 GPU 하드웨어를 사용하여 로컬에서 제작되며, 단 몇 분 만에 최종 애니메이션이 완성됩니다.
이 모든 과정은 내부적으로 이루어지므로 카메라를 배우에게 맞추고 녹화 버튼을 누르기만 하면 됩니다. 캡처가 완료되면, 메타휴먼 애니메이터는 배우의 연기에 담긴 개성과 뉘앙스를 모든 메타휴먼 캐릭터에 정확하게 재현합니다.
모든 메타휴먼을 위한 페이셜 애니메이션
메타휴먼 애니메이터로 캡처한 페이셜 애니메이션은 단 몇 번의 클릭만으로 모든 메타휴먼 캐릭터 또는 새로운 메타휴먼 페이셜 디스크립션 표준을 채택한 모든 캐릭터에 적용할 수 있습니다.
즉, 원하는 방식으로 캐릭터를 디자인할 수 있다는 의미입니다. 적용된 페이셜 애니메이션이 작동할 것이므로 안심하고 사용할 수 있습니다.
기술적인 측면을 잠시 살펴보면, 메시 투 메타 휴먼은 이제 단 3 프레임의 비디오와 iPhone으로 캡처하거나 버티컬 스테레오 헤드 마운트 카메라에서 얻은 데이터를 사용하여 재구성한 뎁스 데이터로 메타휴먼 아이덴티티를 생성할 수 있습니다.
이를 통해 솔버를 배우에 맞게 개인화하여 메타휴먼 애니메이터가 모든 메타휴먼 캐릭터에서 작동하는 애니메이션을 제작할 수 있게 됩니다. 심지어 오디오를 사용하여 사실적인 혀 애니메이션을 제작할 수도 있습니다.
iPhone으로 캡처하기
에픽은 고사양 캡처 시스템을 갖춘 전문가만이 할 수 있는 페이셜 퍼포먼스 캡처를 모든 크리에이터가 사용할 수 있도록 하고자 합니다.
메타휴먼 애니메이터는 iPhone(12 이상)과 데스크톱 PC만 있으면 가장 간단하게 사용할 수 있습니다. 이는 Live Link Face iOS 앱을 업데이트하여 원본 비디오와 뎁스 데이터를 캡처한 다음, 처리를 위해 디바이스에서 언리얼 엔진으로 직접 수집하도록 했기 때문에 가능합니다.
또한 메타휴먼 애니메이터와 함께 기존의 버티컬 스테레오 헤드 장착 카메라 시스템을 사용하여 훨씬 높은 퀄리티를 구현할 수 있습니다.
iPhone을 사용하든 스테레오 HMC를 사용하든, 메타휴먼 애니메이터는 캡처 워크플로의 속도와 사용 편의성을 향상시킵니다. 따라서 촬영 요건과 원하는 퀄리티에 가장 적합한 하드웨어를 유연하게 선택할 수 있습니다.
캡처한 애니메이션 데이터는 타임코드를 지원하므로 페이셜 연기 애니메이션을 바디 모션 캡처 및 오디오와 손쉽게 연동하여 완벽한 캐릭터 퍼포먼스를 구현할 수 있습니다.
촬영장에서 창의적 선택을 위한 완벽한 솔루션
메타휴먼 애니메이터는 모든 메타휴먼 캐릭터에 페이셜 애니메이션을 빠르게 처리하고 적용할 수 있기 때문에 촬영 중에 창의적인 반복작업을 하는 데 안성맞춤입니다.
배우의 더 나은 연기를 이끌어 내거나, 다른 감정에 몰입하게 하거나, 단순히 새로운 방향을 모색하고 싶다면 다시 촬영하기만 하면 됩니다. 커피 한 잔 마시는 데 걸리는 시간이면 결과물을 검토할 수 있습니다.
촬영하는 동안 언리얼 엔진에서 애니메이션 데이터를 바로 검토할 수 있으므로, 최종 캐릭터가 애니메이팅되기 전에 캡처의 퀄리티를 미리 평가할 수 있습니다.
또한, 배우가 스테이지에 있는 동안 재촬영을 할 수 있으므로 나중에 모든 관계자를 다시 모으기 위해 시간과 비용을 들일 필요 없이 그 자리에서 최고의 장면을 얻을 수 있습니다.