컴퓨터 그래픽의 세계에서 사실적인 디지털 휴먼을 제작하는 것은 오랜 염원이었습니다. 많은 사람들이 실제와 구분하기 어려운 디지털 휴먼의 스틸 이미지를 만든다는 목표를 달성했지만, 이러한 캐릭터가 연기할 때, 특히 실시간으로 렌더링되어야 할 때 '불쾌한 골짜기' 현상이 종종 발생합니다.
3래터럴과 큐빅 모션의 디지털 휴먼 혁신가들을 비롯한 에픽게임즈의 메타휴먼 팀이 이 문제를 해결하기 위해 나섰습니다. 먼저 메타휴먼 크리에이터를 활용하여 누구나 이용할 수 있는 사실적인 디지털 휴먼을 만들었습니다. 이후 메시 투 메타휴먼을 통해 캐릭터의 스컬프팅이나 실제 인물의 스캔을 기반으로 누구나 메타휴먼을 만들 수 있도록 함으로써 기술을 한 단계 발전시켰습니다.
팀은 스테레오 헤드 마운트 카메라(Head-Mounted Camera, HMC) 또는 iPhone만으로 배우의 연기를 캡처하고 몇 분 만에 메타휴먼의 고퀄리티 페이셜 애니메이션으로 변환하는 기능을 메타휴먼 애니메이터 최신 버전에 도입했습니다. 메타휴먼 애니메이터는 배우의 연기에 담긴 모든 뉘앙스를 디지털 캐릭터에 충실하게 재현합니다. 기존에는 전문가로 구성된 팀도 수개월이 걸렸던 작업이죠.
메타휴먼 애니메이터를 개발하면서 이 툴을 최대한 활용해 보고자 세르비아 소재의 3래터럴 팀은 현지 아티스트 및 영화 제작자들과 협업하여 단편 영화 Blue Dot을 제작했습니다. 유명 배우 라디보예 부크빅(Radivoje Bukvić)이 출연하고 이반 시작(Ivan Šijak)이 촬영 감독을 맡았습니다. 헤어를 비롯한 전체 시퀀스가 언리얼 엔진에서 렌더링되었으며, 실시간으로 실행할 수 있습니다.
이 영화는 메타휴먼 애니메이터가 연기를 연출하고 캡처하기 위한 전통적인 영화 제작의 전형적인 크리에이티브 온세트 프로세스에서 뛰어난 퀄리티와 임팩트를 선사하는 시네마틱 제작을 가능하게 한 과정을 보여줍니다. 게다가 단시간에 완성된 애니메이션의 퀄리티가 무척 높았고, 최종적으로 다듬는 작업도 소수의 애니메이터만으로 가능했습니다.
3래터럴과 큐빅 모션의 디지털 휴먼 혁신가들을 비롯한 에픽게임즈의 메타휴먼 팀이 이 문제를 해결하기 위해 나섰습니다. 먼저 메타휴먼 크리에이터를 활용하여 누구나 이용할 수 있는 사실적인 디지털 휴먼을 만들었습니다. 이후 메시 투 메타휴먼을 통해 캐릭터의 스컬프팅이나 실제 인물의 스캔을 기반으로 누구나 메타휴먼을 만들 수 있도록 함으로써 기술을 한 단계 발전시켰습니다.
팀은 스테레오 헤드 마운트 카메라(Head-Mounted Camera, HMC) 또는 iPhone만으로 배우의 연기를 캡처하고 몇 분 만에 메타휴먼의 고퀄리티 페이셜 애니메이션으로 변환하는 기능을 메타휴먼 애니메이터 최신 버전에 도입했습니다. 메타휴먼 애니메이터는 배우의 연기에 담긴 모든 뉘앙스를 디지털 캐릭터에 충실하게 재현합니다. 기존에는 전문가로 구성된 팀도 수개월이 걸렸던 작업이죠.
메타휴먼 애니메이터를 개발하면서 이 툴을 최대한 활용해 보고자 세르비아 소재의 3래터럴 팀은 현지 아티스트 및 영화 제작자들과 협업하여 단편 영화 Blue Dot을 제작했습니다. 유명 배우 라디보예 부크빅(Radivoje Bukvić)이 출연하고 이반 시작(Ivan Šijak)이 촬영 감독을 맡았습니다. 헤어를 비롯한 전체 시퀀스가 언리얼 엔진에서 렌더링되었으며, 실시간으로 실행할 수 있습니다.
이 영화는 메타휴먼 애니메이터가 연기를 연출하고 캡처하기 위한 전통적인 영화 제작의 전형적인 크리에이티브 온세트 프로세스에서 뛰어난 퀄리티와 임팩트를 선사하는 시네마틱 제작을 가능하게 한 과정을 보여줍니다. 게다가 단시간에 완성된 애니메이션의 퀄리티가 무척 높았고, 최종적으로 다듬는 작업도 소수의 애니메이터만으로 가능했습니다.
전통적인 영화 제작 기법을 디지털 프로덕션에 도입
프로젝트 진행을 위해 3래터럴은 커스텀 4D 스캔 기법을 사용하여 부크빅의 모습을 캡처했습니다. 3래터럴 팀이 이 데이터로부터 맞춤형 메타휴먼 릭을 만든 반면, 메타휴먼 애니메이터가 캡처된 연기로부터 만든 애니메이션 데이터는 메타휴먼 크리에이터 또는 메시 투 메타휴먼으로 생성한 캐릭터를 포함하여 페이셜 릭이 해당 메타휴먼 페이셜 디스크립션 표준의 컨트롤 로직을 사용하는 모든 디지털 캐릭터에 적용할 수 있습니다.작품은 완전히 디지털 방식으로 제작되었지만 시작과 팀원들은 프로세스 내내 전통적인 영화 제작 경험을 상당히 활용했습니다.
라이브 액션 촬영과 똑같이 라이팅을 디자인하기 위해, 팀은 실제 조명을 가져와서 원하는 부크빅의 모습을 담을 때까지 조정했습니다. 선택한 라이팅 구성을 언리얼 엔진에서 디지털로 재현한 결과, 부크빅이 모션 캡처 세트에 있는 동안 라이팅이 배우의 애니메이팅된 메타휴먼을 어떻게 비추는지 빠르게 미리 보고, 필요하다면 즉시 재촬영할 수도 있었습니다. 당연히 실제 조명과는 달리 라이팅을 미세 조정할 수 있었습니다. 시작에게는 확실한 이점이었습니다.
시작이 말합니다. "조명이 세트에 없어도 배우에게 조명이 미치는 결과를 확인하고, 나중에 조명을 바꿀 수 있죠. 정말 작업하기 좋은 환경입니다. 자연스럽게 느껴졌고 워크플로가 정말 대단했습니다."
사실성을 더하기 위해 돌리 트랙을 갖춘 실제 영화 카메라를 모션 캡처 스튜디오에 도입했습니다. 카메라는 부크빅의 몸과 얼굴을 따라 움직였습니다. 이 모든 것을 통해 팀은 언리얼 엔진에서 카메라 모션을 정밀하게 재현할 수 있었고, 부크빅의 메타휴먼은 카메라에 맞춰 연기할 수 있었습니다.
부크빅이 말합니다. "상상력은 연기의 중요한 동력입니다. 내적 감정을 따르다 보면 몸이 카메라 앞에서 저절로 움직입니다. [...] 저는 이 작품을 통해 내면세계를 탐구하려 했고 결과는 아주 훌륭했습니다."
시작이 말합니다. "클로즈업 샷은 영화의 기본입니다. 시청자는 클로즈업 샷을 통해 캐릭터와 소통하고 감정을 주고받습니다. 모든 것이 드러나죠."
내면까지 클로즈업
팀이 자체적으로 정한 핵심 과제는 동작이 거의 전적으로 캐릭터의 얼굴에 초점을 맞춰야 한다는 것이었습니다.시작이 말합니다. "클로즈업 샷은 영화의 기본입니다. 시청자는 클로즈업 샷을 통해 캐릭터와 소통하고 감정을 주고받습니다. 모든 것이 드러나죠."
3래터럴 사업 개발 리드 우로스 시키미치(Uroš Sikimić)는 이 과제가 어떻게 메타휴먼 애니메이터의 개발로 이어졌는지 설명합니다. 시키미치가 말합니다. "인간의 얼굴은 정말 복잡합니다. 얼굴에 있는 모든 근육의 개별 움직임을 일일이 재현하는 것이 아니라 그 모든 정보를 분석할 수 있을 정도로 강력한 툴이 필요했습니다."
3래터럴의 아트 디렉터 알렉산드르 포포프(Aleksandar Popov)가 이어 말합니다. "가장 중요한 것은 당연히 눈입니다. 눈이 전체적인 인상을 결정합니다. 그래서 저희는 이런 예술적 관점에서 디자인하기 위해 큰 노력을 기울였고, 나머지는 기술의 몫이었습니다."
부크빅의 표정 연기는 스테레오 헤드 마운트 카메라로 촬영되었습니다. 비디오와 계산된 뎁스 데이터는 4D 솔버를 사용하여 메타휴먼 애니메이터에서 처리되었습니다. 이때 연기의 모든 세세한 디테일과 뉘앙스를 캡처했으며, 시선의 움직임을 재구성하기도 했습니다.
메타휴먼 애니메이터를 사용하면 결과물을 빠르게 검토할 수 있습니다. 필요하다면 언리얼 엔진에서 향상시키거나 또는 극적인 효과를 위해 추가적인 미세조정을 할 수 있지만, Blue Dot 팀은 메타휴먼 애니메이터의 애니메이션 결과물을 다듬는 데는 최소한의 작업만 필요하다는 점을 깨달았습니다.
부크빅이 말합니다. "제 연기가 이 정도로 자연스럽게 전달될 줄은 몰랐습니다. 세세한 디테일이 모두 담긴 것을 보고 깜짝 놀랐죠."
빠르게 결과물을 얻을 수 있다는 점, 아티스트, 애니메이터, 배우 간의 반복작업 프로세스가 가능하다는 점, 그리고 캡처의 퀄리티가 합쳐진 메타휴먼 크리에이터는 시네마틱 제작에 있어 매우 강력한 툴이 되었습니다. 애니메이션 스튜디오는 이제 세트에서 배우와 함께 작업할 때 창의적인 직관력을 발휘하여 애니메이션 콘텐츠로 충실히 변환되는 연기를 연출함으로써 감동적인 시네마틱 작품을 만들 수 있습니다.
시작이 말합니다. "이 기술을 활용한 결과물과 실제 카메라로 세트에서 촬영한 결과물 사이의 퀄리티를 구분할 수 없을 정도입니다. 카메라 워크와 배우의 연기, 그리고 관객이 장면에 몰입하도록 하는 요소가 모두 있습니다. 하나도 빠짐없이 말이죠."
빠르게 결과물을 얻을 수 있다는 점, 아티스트, 애니메이터, 배우 간의 반복작업 프로세스가 가능하다는 점, 그리고 캡처의 퀄리티가 합쳐진 메타휴먼 크리에이터는 시네마틱 제작에 있어 매우 강력한 툴이 되었습니다. 애니메이션 스튜디오는 이제 세트에서 배우와 함께 작업할 때 창의적인 직관력을 발휘하여 애니메이션 콘텐츠로 충실히 변환되는 연기를 연출함으로써 감동적인 시네마틱 작품을 만들 수 있습니다.
시작이 말합니다. "이 기술을 활용한 결과물과 실제 카메라로 세트에서 촬영한 결과물 사이의 퀄리티를 구분할 수 없을 정도입니다. 카메라 워크와 배우의 연기, 그리고 관객이 장면에 몰입하도록 하는 요소가 모두 있습니다. 하나도 빠짐없이 말이죠."
iPhone으로 제작하는 고퀄리티 페이셜 애니메이션
메타휴먼 애니메이터는 전문가용 스테레오 헤드 마운트 카메라나 비싼 하드웨어를 갖출 필요가 없다는 장점이 있습니다. iPhone(12 이상)과 데스크톱 PC로도 작업이 가능하기 때문에 이미 가지고 있는 장비와 메타휴먼 캐릭터로 언리얼 엔진에서 자신만의 시네마틱을 만들 수 있습니다.메타휴먼 커뮤니티 허브에서 시작하는 방법을 자세히 알아보고 전체 문서를 살펴보고 다른 개발자 및 크리에이터와 프로젝트를 논의해 보세요.