인터뷰
2023년 6월 1일
언리얼 엔진과 메타휴먼으로 탄생한 버추얼 아이돌 그룹 MAVE:
메타버스엔터테인먼트 제공
MAVE:(메이브)는 2023년 1월 말 첫 뮤직 비디오 공개를 시작으로 대한민국 대표 음악 프로그램 중 하나인 쇼! 음악중심에도 데뷔 무대를 가지며 K-POP 버추얼 아이돌 그룹이라는 분야에서 새로운 물결을 일으키고 있습니다. 메이브는 사실적인 캐릭터 비주얼과 자연스러운 애니메이션은 물론, 중독성 있는 음악으로 데뷔 1개월 만에 뮤직 비디오 1,800만 뷰, 데뷔 생방송 무대 영상 300만 뷰를 각각 기록하며 엄청난 주목을 받고 있으며 TV쇼, SNS 등을 통해 팬들과 다양한 방식으로 소통하고 있습니다.
사실적이고 자연스러운 디지털 휴먼을 구현하기 위해 언리얼 엔진과 메타휴먼 기술을 어떻게 활용하였고, 단시간 내에 다양한 플랫폼을 위한 콘텐츠를 어떻게 제작할 수 있었는지 알아보기 위해 메타버스엔터테인먼트의 CTO이신 강성구 이사님과 얘기를 나눠봤습니다.
사실적이고 자연스러운 디지털 휴먼을 구현하기 위해 언리얼 엔진과 메타휴먼 기술을 어떻게 활용하였고, 단시간 내에 다양한 플랫폼을 위한 콘텐츠를 어떻게 제작할 수 있었는지 알아보기 위해 메타버스엔터테인먼트의 CTO이신 강성구 이사님과 얘기를 나눠봤습니다.
메이브의 첫 시작은 멤버들 제작에 있었을 것 같습니다. 어떤 목표를 가지고 디지털 캐릭터들을 제작하셨나요?
메이브는 4인조 버추얼 그룹으로 세상 어디에도 없는 완전히 새로운 외형을 가진 각각의 매력적인 캐릭터를 제작하는 것을 목표로 했습니다. 매력적인 캐릭터는 기본 외형뿐만 아니라 여러 상황에 맞는 다양한 표정과 디테일을 표현하는 것이 핵심이었기 때문에 이것을 위한 파이프라인과 기술을 구축하고 개발하는 데 초점을 두었습니다.
매력적인 캐릭터를 제작하기 위해 메타휴먼 기술을 활용했다고 들었습니다. 그 이유에 대해 말씀해 주시겠어요?
매력적인 캐릭터는 기본 외형뿐만 아니라 여러 상황에 맞는 다양한 표정을 세밀하게 표현하는 것이 매우 중요합니다. 그런데 이러한 표정을 제작하거나 수정하는 것은 항상 리깅과 모델링 작업 동반되어야 하고 반복적인 수정과 확인을 요하기 때문에 많은 시간과 비용이 요구됩니다. 그렇기 때문에 수십 년간의 디지털 휴먼 제작 기술의 노하우가 적용된 '메타휴먼'은 더할 나위 없는 완벽한 선택이었고, 저희 캐릭터 파이프라인 구축에 있어 매우 중요한 부분을 차지했습니다.
메타휴먼의 페이셜 컨트롤을 통해 원하는 표정을 제작하거나, 캐릭터 간의 애니메이션을 손쉽게 공유할 수 있었고, 에픽게임즈에서 공개한 릭 로직: 메타휴먼 페이스 릭의 런타임 평가 백서를 참고하여 릭의 컨트롤 방식을 개선하는 등 연구개발에 집중할 수 있었습니다. 또한, NVIDIA의 Audio2Face, iPhone, Faceware, FACEGOOD 등의 외부 툴과의 높은 호환성 덕분에 메타휴먼의 애니메이션을 적용할 수 있었는데, 기본적인 메시의 토폴로지, UV, 조인트 구조, 컨트롤 등을 그대로 공유할 수 있어 실제 제작 시간을 엄청나게 단축할 수 있었습니다.
메타버스엔터테인먼트 제공
메타휴먼과 함께 언리얼 엔진을 채택한 이유가 무엇일까요?
메이브의 기획 단계에서 어떤 포지셔닝과 활동을 해야 할지에 대한 고민이 컸고, 콘텐츠의 생산성은 이 고민에서 가장 중요한 고려 사항이었습니다. 많은 활동은 많은 양의 콘텐츠 생산을 의미하고 즉 제작의 효율성이 뒷받침되어야 합니다. 그렇지 않은 경우에는 시각적 퀄리티를 희생해야 할 수도 있기 때문입니다. 따라서 작업의 효율성뿐만 아니라, 오프라인 렌더링과 견줄 만한 렌더링 퀄리티를 실시간으로 제공하는 언리얼 엔진을 선택했고, 언리얼 엔진을 활용하여 트랜스미디어의 형태로 단시간 내에 뮤직비디오 제작, SNS 활동 그리고 추후 출연할 TV쇼, CF 등 다양한 영역에서 메이브의 활동을 이어나갈 수 있었습니다.
특히 SNS 채널은 아이돌이 팬들과 언제든지 연결될 수 있는 매우 중요한 채널로서, 채널 운영을 위해서는 그만큼 고퀄리티의 콘텐츠가 다양한 형태로 다량 필요하게 되는데, 언리얼 엔진을 선택한 덕분에 사실적인 이미지는 물론 일반 영상, 쇼츠 폼 영상 등 다양한 플랫폼에서 팬들과 소통할 수 있는 여러 형태의 콘텐츠 제작이 가능했습니다. 그 결과, 콘텐츠 제작의 효율성과 퀄리티라는 두 마리 토끼를 모두 잡을 수 있었습니다.
메이브의 각 캐릭터가 어떤 파이프라인을 통해 제작되었는지 궁금합니다.
메이브 제작팀은 게임, 영화 등 다양한 산업 분야의 인재들로 구성되다 보니, 산업별로 각각 다른 DCC 툴을 사용해 왔습니다. 예를 들어, 게임 산업 출신의 팀원은 리얼타임 렌더링에 대한 이해도가 높고, M&E 산업의 인재들은 영상 미디어 제작에 대한 전문성을 지니고 있는 만큼 각 팀원들의 시너지 효과를 극대화하기 위해서 특별한 파이프라인을 구축했습니다.
메타버스엔터테인먼트 제공
파이프라인은 크게 캐릭터 기획과 캐릭터 제작으로 나누어지고, 캐릭터 제작은 다시 모델링, 표정 생성 및 리깅, 헤어 제작, 바디 보정 등의 단계로 나눠집니다.
캐릭터 기획은 각 캐릭터의 외형을 계획하는 단계로, 이 과정은 성공적인 아이돌 기획 경험을 다수 보유한 카카오 엔터테인먼트의 전문가들과 긴밀하게 협업하여 진행했습니다. 다만 기존의 아이돌 그룹은 연습생이란 이미 존재하는 집단 구성원 내에서 알맞는 구성원을 선택하고 메이크업과 스타일링으로 외형의 특성을 완성시키는데, 이에 반해 버추얼 아이돌 그룹의 경우, 기본 외형뿐만 아니라 세밀한 표정, 움직임, 말투 등의 다양한 매력을 지닌 완전히 새로운 사람을 창조해 내야 한다는 큰 차이점이 있습니다.
이런 차이를 줄이고 기획팀의 기존 방식과 최대한 비슷한 작업 환경을 제공하기 위해 개발팀은 GAN 네트워크를 사용해 타깃 이미지를 자동으로 생성하고 직접 아이겐 벡터를 수정하거나 조합할 수 있는 파이프라인을 구축했습니다. 덕분에 기획 의도에 맞는 캐릭터의 외형을 처음부터 하나하나 설정할 필요 없이, 기획팀에서 다년간 구축해 온 성공적인 아이돌 그룹의 공식에 맞는 비슷한 외형의 캐릭터를 선택하고 파라미터를 수정해 가며 기획 의도를 맞춰 갈 수 있었습니다.
캐릭터 기획은 각 캐릭터의 외형을 계획하는 단계로, 이 과정은 성공적인 아이돌 기획 경험을 다수 보유한 카카오 엔터테인먼트의 전문가들과 긴밀하게 협업하여 진행했습니다. 다만 기존의 아이돌 그룹은 연습생이란 이미 존재하는 집단 구성원 내에서 알맞는 구성원을 선택하고 메이크업과 스타일링으로 외형의 특성을 완성시키는데, 이에 반해 버추얼 아이돌 그룹의 경우, 기본 외형뿐만 아니라 세밀한 표정, 움직임, 말투 등의 다양한 매력을 지닌 완전히 새로운 사람을 창조해 내야 한다는 큰 차이점이 있습니다.
이런 차이를 줄이고 기획팀의 기존 방식과 최대한 비슷한 작업 환경을 제공하기 위해 개발팀은 GAN 네트워크를 사용해 타깃 이미지를 자동으로 생성하고 직접 아이겐 벡터를 수정하거나 조합할 수 있는 파이프라인을 구축했습니다. 덕분에 기획 의도에 맞는 캐릭터의 외형을 처음부터 하나하나 설정할 필요 없이, 기획팀에서 다년간 구축해 온 성공적인 아이돌 그룹의 공식에 맞는 비슷한 외형의 캐릭터를 선택하고 파라미터를 수정해 가며 기획 의도를 맞춰 갈 수 있었습니다.
메타버스엔터테인먼트 제공
얼굴을 정하는 단계에서는 스타일링에 따라 모델링이 달라지기 때문에 K-POP 아이돌의 의상과 헤어를 담당했던 전문 스타일리스트들과 K-POP 아이돌 공식에 맞는 스타일링을 결정한 후 모델링을 진행했습니다. 실제 사람을 스캔한 후 제작한다면 훨씬 빠르게 사실적인 외형을 만들 수 있었겠지만, 그 과정에는 기획된 얼굴과 똑같은 외형의 사람을 찾는 어려움, 초상권 문제와 같은 예상되는 이슈가 많았기 때문에, 메이브는 모델링을 통해 얼굴을 제작했습니다.
메타버스엔터테인먼트 제공
표정을 생성 및 수정하는 단계에서는 모델을 분석하고, 각 영역의 위치와 크기, 근육의 흐름 등을 고려해 약 800여개의 표정을 자동으로 생성하는 자체 제작 툴을 활용했습니다. 이 과정은 메타휴먼의 메시 투 메타휴먼 플러그인과 같이 기본 형태의 메시를 넣으면 표정을 자동으로 생성해 주는 기능과 비슷합니다. 이 기능을 개발했던 당시에는 메시 투 메타휴먼 플러그인이 출시되지 않았기 때문에 자체적으로 개발했지만, 필요에 따라 알고리즘을 수정하고 자동화된 파이프라인을 구축하는데 많은 도움이 됐습니다.
또한, 일반적인 표정 외에, 캐릭터의 성격이 반영된 고유의 표정을 커스터마이징할 수 있는 기능을 제작했습니다. 이렇게 기존에 없던 표정이 추가된 경우에는 그에 맞는 리깅이 필요하므로 언리얼 엔진의 컨트롤 릭을 자동으로 생성하고 캐릭터에 맞게 구성했습니다.
헤어는 기본적으로 마야의 XGen을 이용해 제작되었습니다. 그룸을 통한 언리얼 엔진의 헤어 렌더링은 리얼타임이라 믿을 수 없는 수준의 퀄리티를 보여줬으며, 그 덕분에 많은 작업 시간을 아낄 수 있었습니다. 하지만, 경우에 따라 더 높은 퍼포먼스를 위해 그룸을 쓸 수 없는 경우가 있었는데, 이런 경우에는 그룸 기반의 헤어를 카드로 바꿔주는 툴을 제작하여 사용했습니다. 헤어를 교체하는 과정에서 바인딩 에셋이 없는 경우 수동으로 생성해야 하는 것과 같이 헤어를 수정하고 적용하는 데 발생하는 번거로움은 자동화를 통해 작업 공정을 최적화했습니다.