우리는 보통 유물을 통해 역사를 이해합니다. 그런데 고대인의 표정까지 볼 수 있다면 어떨까요? 얼굴 근육을 움직여 놀라움, 분노, 공포를 드러내고, 심지어 우리에게 미소 짓는 고대인을 실제로 볼 수 있다면요? 이러한 질문을 던진 베오그라드대 고고학과의 자연인류학 교수 소피아 스테파노비치(Sofija Stefanović)와 그녀가 이끄는 팀은 세르비아의 유명한 유적지 레펜스키 비르(Lepenski Vir)에서 발견된 1만 년 전 샤먼의 얼굴을 누구보다 앞서 복원하기 시작했습니다.
운 좋게도 같은 세르비아에 있던 3래터럴도 이번 프로젝트에서 스테파노비치와 협력하기로 했습니다. 이제 에픽게임즈 소속이 된 3래터럴은 디지털 휴먼 기술을 선도하는 개발사로, 에픽게임즈 소속의 큐빅 모션 팀과 언리얼 엔진 팀과 협력하여 메타휴먼 프레임워크를 개발해 왔으며, 작년에 클라우드 기반 무료 앱 메타휴먼 크리에이터를 얼리 액세스로 출시했습니다. 메타휴먼 크리에이터를 사용하면 누구나 스캔 데이터의 데이터베이스에서 파생된 고유한 고퀄리티 디지털 휴먼을 단 몇 분 만에 만들 수 있습니다.
그런데 최신 메타휴먼 버전은 메타휴먼 크리에이터에 새로운 기능이 추가됐을 뿐만 아니라, 언리얼 엔진용 신규 메타휴먼 플러그인도 제공됩니다. 메타휴먼 플러그인의 첫 번째 주요 기능은 메시 투 메타휴먼으로, 샤먼을 복원하는 데 사용된 핵심 기술과 같습니다. 이제 이 놀라운 기술을 누구나 자유롭게 이용하여 자신의 커스텀 모델에서 메타휴먼을 만들고, 전문 지식이 없어도 유사한 프로젝트를 완성할 수 있습니다.
그런데 최신 메타휴먼 버전은 메타휴먼 크리에이터에 새로운 기능이 추가됐을 뿐만 아니라, 언리얼 엔진용 신규 메타휴먼 플러그인도 제공됩니다. 메타휴먼 플러그인의 첫 번째 주요 기능은 메시 투 메타휴먼으로, 샤먼을 복원하는 데 사용된 핵심 기술과 같습니다. 이제 이 놀라운 기술을 누구나 자유롭게 이용하여 자신의 커스텀 모델에서 메타휴먼을 만들고, 전문 지식이 없어도 유사한 프로젝트를 완성할 수 있습니다.
전통적인 기법으로 물리적 얼굴 복원
세르비아 동부의 다뉴브강 기슭에 위치한 레펜스키 비르는 1960년대에 처음 발견되었습니다. 레펜스키 비르는 유럽 선사 문화 발전의 초기 단계를 보여주는 역사적으로 아주 중요한 유적지입니다. 이곳에서 약 500구의 유골이 발굴되었으며, 그중에는 특이하게 다리를 꼬고 앉은 양반다리 자세로 발견되며 ‘샤먼’으로 추정되는 유골도 있었습니다. 이 샤먼이 살았던 시기는 기원전 8천 년경으로 추정됩니다. 전문가로 구성된 팀은 이 유골을 바탕으로 샤먼의 키와 체중뿐 아니라 심지어 해산물을 주로 먹었다는 사실까지 알아낼 수 있었습니다.복원에 앞서, 선사시대 때 샤먼의 모습을 있는 그대로 재현하기 위해 유골의 물리적 복제본을 정확하게 만들어야 했습니다. 세르비아의 노비사드에 위치한 바이오센스 인스티튜트(BioSense Institute) 소속 고고학자인 유고슬라브 펜디치(Jugoslav Pendić)의 지도하에, 프로젝트 팀은 풀프레임 카메라로 수백 장의 2D 이미지를 캡처하여 선사시대 샤먼의 얼굴 특징을 재현했습니다. 그런 다음 리얼리티캡처에 임포트하여 3D 가상 모델을 만든 뒤 3D 프린팅을 하여 물리적 모델을 제작했습니다.
복제된 유골은 스웨덴의 법의학자 겸 고고학자 오스카 닐슨(Oscar Nilsson)에게 전달되었습니다. 닐슨은 전 세계 박물관에 전시되는 고대인의 얼굴을 복원하는 전문가입니다. 법의학적 얼굴 복원물을 만들기 시작한 닐슨은 샤먼의 성별, 연령, 인종, 예상 체중에 맞게 두께를 결정하여 점토로 근육과 피부층을 덧붙였습니다.
애니메이팅 가능한 모델로 탈바꿈한 스태틱 메시
실제 존재했던 샤먼 모델에 생명을 불어넣기 위해 아직 피부 텍스처와 머리카락이 없는 점토 복원물을 Peel 스캐너로 다시 스캔한 뒤 리얼리티캡처로 디지털 모델을 만들어 복원했습니다. 다음 단계를 위한 준비로 피부와 눈의 기본 텍스처를 적용한 뒤에는 메시 투 메타휴먼 프로세스에 메시를 넣을 차례였습니다.메시 투 메타휴먼은 언리얼 엔진 5의 자동화된 랜드마크 트래킹을 사용하여 샤먼 스캔본에 메타휴먼 토폴로지 템플릿을 맞췄습니다. 새로운 메시는 클라우드로 전송되어 샤먼과 얼굴 지오메트리 및 비율이 비슷한 메타휴먼과 매칭된 뒤 메타휴먼 페이셜 릭에 자동으로 바인딩되었습니다. 이 기술은 실제 사람의 표정을 스캔한 메타휴먼 크리에이터의 광범위한 데이터베이스를 사용하여, 이 고대인의 얼굴에 적합한 표정을 ‘통계적으로 추정’하고 원래 모습과의 유사성을 위한 디테일을 유지할 수 있었습니다. 이 프로세스를 자세히 알아보고 싶다면, 이 튜토리얼을 확인하세요.
프로세스를 마친 후 캐릭터를 메타휴먼 크리에이터에서 열었습니다. 플레이 버튼을 누르자마자, 메타휴먼 크리에이터의 프리셋 애니메이션이 적용된 샤먼이 살아 움직였습니다.
메타휴먼 크리에이터로 정교해진 얼굴
다음으로 프로젝트 팀은 고고학자, 법의학자 그리고 메타휴먼 캐릭터 아티스트와의 협업을 통해 메타휴먼 크리에이터에서 샤먼의 얼굴 털, 피부의 특성 등으로 외모를 추려낼 수 있었습니다. DNA 분석에 따르면 샤먼은 ‘중간 정도의 어두운’ 피부, 어두운 머리카락, 갈색 눈을 가졌습니다. 스테파노비치가 말합니다. “피부, 머리카락, 눈의 색을 90%가 넘는 정확도로 추측할 수 있었습니다.”주름과 흰머리는 추정 연령을 바탕으로 추가했으며, 치아는 유골을 바탕으로, 머리카락과 수염의 스타일은 조개껍데기와 같이 기원전 8천 년에 사용했을 법한 도구를 바탕으로 조정했습니다.
샤먼의 외모가 디지털로 완성되자, 닐슨은 물리적 모델도 똑같이 스타일링하여 전통적인 방식의 3D 복원을 마칠 수 있었습니다.
닐슨이 말합니다. “메타휴먼 크리에이터의 작업 과정은 아주 훌륭했습니다. 원래대로라면 제가 직접 해야 하는 것인데, 돈도 많이 들고 시간도 오래 걸리죠. 그런데 디지털로 처리할 수 있게 되니 완전히 달라졌습니다.”
샤먼의 외모가 디지털로 완성되자, 닐슨은 물리적 모델도 똑같이 스타일링하여 전통적인 방식의 3D 복원을 마칠 수 있었습니다.
닐슨이 말합니다. “메타휴먼 크리에이터의 작업 과정은 아주 훌륭했습니다. 원래대로라면 제가 직접 해야 하는 것인데, 돈도 많이 들고 시간도 오래 걸리죠. 그런데 디지털로 처리할 수 있게 되니 완전히 달라졌습니다.”
역사와의 실시간 상호작용
다음으로는 디지털 모델을 언리얼 엔진으로 가져와 사실적인 라이팅을 적용한 가상 환경을 만들었습니다. 덕분에 메타휴먼 페이셜 릭을 사용하여 샤먼을 직접 애니메이팅하거나, 무료 Live Link Face 앱을 사용하여 iPhone 또는 iPad로 얼굴 애니메이션을 캡처하고 언리얼 엔진에서 실시간으로 캐릭터에 스트리밍할 수 있었습니다.개발을 마친 가상 및 물리적 모델은 본 프로젝트의 구현을 지원한 국립 플랫폼 세르비아 크리에이츠(Serbia Creates)에 의해 두바이 엑스포 2020(Dubai Expo 2020)에서 마침내 베일을 벗었습니다. 행사 방문객들은 iPhone으로 자신의 표정을 캡처하여 화면에 미러링된 디지털 버전의 샤먼을 실시간 애니메이션으로 볼 수 있었습니다.
3래터럴의 솔루션 전문가 애덤 코박(Adam Kovač)이 말합니다. “아무도 샤먼과 상호작용하지 않을 때는 다른 메타휴먼의 애니메이션을 빌려서 하품하고 근육을 풀게 했습니다. 샤먼이 웃음 짓는 걸 보니 정말 기뻤습니다.”
3래터럴의 솔루션 전문가 애덤 코박(Adam Kovač)이 말합니다. “아무도 샤먼과 상호작용하지 않을 때는 다른 메타휴먼의 애니메이션을 빌려서 하품하고 근육을 풀게 했습니다. 샤먼이 웃음 짓는 걸 보니 정말 기뻤습니다.”
스테파노비치도 동의합니다. “고대인이 감정을 표현하는 모습을 본 것은 이번이 처음입니다.”
이 인터랙티브 셋업은 이제 베오그라드의 세르비아 국립박물관에 레펜스키 비르 유물 컬렉션과 함께 전시되어 있습니다.
메타휴먼 프레임워크가 게임 및 영화 업계에서 큰 관심을 받은 한편, 레펜스키 비르 샤먼 프로젝트를 통해 이 기술이 고고학과 법의학 같은 전통적인 분야의 혁신적 프로젝트에도 도움이 될 수 있다는 사실을 엿볼 수 있었습니다. 프로젝트 팀은 이 획기적인 복원 작업이 다른 분야에 속한 선구자들의 상상력에 불을 지피기를 바랍니다. 코박이 말합니다. “메타휴먼 크리에이터를 의약품, 자동차, 심리 연구에 사용하는 경우도 있습니다. 앞으로의 활용 범위는 사용자에게 달려 있다고 할 수 있죠.”
이 인터랙티브 셋업은 이제 베오그라드의 세르비아 국립박물관에 레펜스키 비르 유물 컬렉션과 함께 전시되어 있습니다.
메타휴먼 프레임워크가 게임 및 영화 업계에서 큰 관심을 받은 한편, 레펜스키 비르 샤먼 프로젝트를 통해 이 기술이 고고학과 법의학 같은 전통적인 분야의 혁신적 프로젝트에도 도움이 될 수 있다는 사실을 엿볼 수 있었습니다. 프로젝트 팀은 이 획기적인 복원 작업이 다른 분야에 속한 선구자들의 상상력에 불을 지피기를 바랍니다. 코박이 말합니다. “메타휴먼 크리에이터를 의약품, 자동차, 심리 연구에 사용하는 경우도 있습니다. 앞으로의 활용 범위는 사용자에게 달려 있다고 할 수 있죠.”