[언리얼 엔진 23.09.20.] Blue Dot 제작 과정: 시네마틱에 놀라운 퀄리티를 선사하는 메타휴먼 애니메이터
Blue Dot 제작 과정: 시네마틱에 놀라운 퀄리티를 선사하는 메타휴먼 애니메이터
컴퓨터 그래픽의 세계에서 사실적인 디지털 휴먼을 제작하는 것은 오랜 염원이었습니다. 많은 사람들이 실제와 구분하기 어려운 디지털 휴먼의 스틸 이미지를 만든다는 목표를 달성했지만, 이러한 캐릭터가 연기할 때, 특히 실시간으로 렌더링되어야 할 때 '불쾌한 골짜기' 현상이 종종 발생합니다.
3래터럴과 큐빅 모션의 디지털 휴먼 혁신가들을 비롯한 에픽게임즈의 메타휴먼 팀이 이 문제를 해결하기 위해 나섰습니다. 먼저 메타휴먼 크리에이터를 활용하여 누구나 이용할 수 있는 사실적인 디지털 휴먼을 만들었습니다. 이후 메시 투 메타휴먼을 통해 캐릭터의 스컬프팅이나 실제 인물의 스캔을 기반으로 누구나 메타휴먼을 만들 수 있도록 함으로써 기술을 한 단계 발전시켰습니다.
팀은 스테레오 헤드 마운트 카메라(Head-Mounted Camera, HMC) 또는 iPhone만으로 배우의 연기를 캡처하고 몇 분 만에 메타휴먼의 고퀄리티 페이셜 애니메이션으로 변환하는 기능을 메타휴먼 애니메이터 최신 버전에 도입했습니다. 메타휴먼 애니메이터는 배우의 연기에 담긴 모든 뉘앙스를 디지털 캐릭터에 충실하게 재현합니다. 기존에는 전문가로 구성된 팀도 수개월이 걸렸던 작업이죠.
메타휴먼 애니메이터를 개발하면서 이 툴을 최대한 활용해 보고자 세르비아 소재의 3래터럴 팀은 현지 아티스트 및 영화 제작자들과 협업하여 단편 영화 Blue Dot을 제작했습니다. 유명 배우 라디보예 부크빅(Radivoje Bukvić)이 출연하고 이반 시작(Ivan Šijak)이 촬영 감독을 맡았습니다. 헤어를 비롯한 전체 시퀀스가 언리얼 엔진에서 렌더링되었으며, 실시간으로 실행할 수 있습니다.
이 영화는 메타휴먼 애니메이터가 연기를 연출하고 캡처하기 위한 전통적인 영화 제작의 전형적인 크리에이티브 온세트 프로세스에서 뛰어난 퀄리티와 임팩트를 선사하는 시네마틱 제작을 가능하게 한 과정을 보여줍니다. 게다가 단시간에 완성된 애니메이션의 퀄리티가 무척 높았고, 최종적으로 다듬는 작업도 소수의 애니메이터만으로 가능했습니다.
전통적인 영화 제작 기법을 디지털 프로덕션에 도입
프로젝트 진행을 위해 3래터럴은 커스텀 4D 스캔 기법을 사용하여 부크빅의 모습을 캡처했습니다. 3래터럴 팀이 이 데이터로부터 맞춤형 메타휴먼 릭을 만든 반면, 메타휴먼 애니메이터가 캡처된 연기로부터 만든 애니메이션 데이터는 메타휴먼 크리에이터 또는 메시 투 메타휴먼으로 생성한 캐릭터를 포함하여 페이셜 릭이 해당 메타휴먼 페이셜 디스크립션 표준의 컨트롤 로직을 사용하는 모든 디지털 캐릭터에 적용할 수 있습니다.
작품은 완전히 디지털 방식으로 제작되었지만 시작과 팀원들은 프로세스 내내 전통적인 영화 제작 경험을 상당히 활용했습니다.
라이브 액션 촬영과 똑같이 라이팅을 디자인하기 위해, 팀은 실제 조명을 가져와서 원하는 부크빅의 모습을 담을 때까지 조정했습니다. 선택한 라이팅 구성을 언리얼 엔진에서 디지털로 재현한 결과, 부크빅이 모션 캡처 세트에 있는 동안 라이팅이 배우의 애니메이팅된 메타휴먼을 어떻게 비추는지 빠르게 미리 보고, 필요하다면 즉시 재촬영할 수도 있었습니다. 당연히 실제 조명과는 달리 라이팅을 미세 조정할 수 있었습니다. 시작에게는 확실한 이점이었습니다.
시작이 말합니다. "조명이 세트에 없어도 배우에게 조명이 미치는 결과를 확인하고, 나중에 조명을 바꿀 수 있죠. 정말 작업하기 좋은 환경입니다. 자연스럽게 느껴졌고 워크플로가 정말 대단했습니다."
사실성을 더하기 위해 돌리 트랙을 갖춘 실제 영화 카메라를 모션 캡처 스튜디오에 도입했습니다. 카메라는 부크빅의 몸과 얼굴을 따라 움직였습니다. 이 모든 것을 통해 팀은 언리얼 엔진에서 카메라 모션을 정밀하게 재현할 수 있었고, 부크빅의 메타휴먼은 카메라에 맞춰 연기할 수 있었습니다.
(중략)
iPhone으로 제작하는 고퀄리티 페이셜 애니메이션
메타휴먼 애니메이터는 전문가용 스테레오 헤드 마운트 카메라나 비싼 하드웨어를 갖출 필요가 없다는 장점이 있습니다. iPhone(12 이상)과 데스크톱 PC로도 작업이 가능하기 때문에 이미 가지고 있는 장비와 메타휴먼 캐릭터로 언리얼 엔진에서 자신만의 시네마틱을 만들 수 있습니다.
메타휴먼 커뮤니티 허브에서 시작하는 방법을 자세히 알아보고 전체 문서를 살펴보고 다른 개발자 및 크리에이터와 프로젝트를 논의해 보세요.
컴퓨터 그래픽의 세계에서 사실적인 디지털 휴먼을 제작하는 것은 오랜 염원이었습니다. 많은 사람들이 실제와 구분하기 어려운 디지털 휴먼의 스틸 이미지를 만든다는 목표를 달성했지만, 이러한 캐릭터가 연기할 때, 특히 실시간으로 렌더링되어야 할 때 '불쾌한 골짜기' 현상이 종종 발생합니다.
3래터럴과 큐빅 모션의 디지털 휴먼 혁신가들을 비롯한 에픽게임즈의 메타휴먼 팀이 이 문제를 해결하기 위해 나섰습니다. 먼저 메타휴먼 크리에이터를 활용하여 누구나 이용할 수 있는 사실적인 디지털 휴먼을 만들었습니다. 이후 메시 투 메타휴먼을 통해 캐릭터의 스컬프팅이나 실제 인물의 스캔을 기반으로 누구나 메타휴먼을 만들 수 있도록 함으로써 기술을 한 단계 발전시켰습니다.
팀은 스테레오 헤드 마운트 카메라(Head-Mounted Camera, HMC) 또는 iPhone만으로 배우의 연기를 캡처하고 몇 분 만에 메타휴먼의 고퀄리티 페이셜 애니메이션으로 변환하는 기능을 메타휴먼 애니메이터 최신 버전에 도입했습니다. 메타휴먼 애니메이터는 배우의 연기에 담긴 모든 뉘앙스를 디지털 캐릭터에 충실하게 재현합니다. 기존에는 전문가로 구성된 팀도 수개월이 걸렸던 작업이죠.
메타휴먼 애니메이터를 개발하면서 이 툴을 최대한 활용해 보고자 세르비아 소재의 3래터럴 팀은 현지 아티스트 및 영화 제작자들과 협업하여 단편 영화 Blue Dot을 제작했습니다. 유명 배우 라디보예 부크빅(Radivoje Bukvić)이 출연하고 이반 시작(Ivan Šijak)이 촬영 감독을 맡았습니다. 헤어를 비롯한 전체 시퀀스가 언리얼 엔진에서 렌더링되었으며, 실시간으로 실행할 수 있습니다.
이 영화는 메타휴먼 애니메이터가 연기를 연출하고 캡처하기 위한 전통적인 영화 제작의 전형적인 크리에이티브 온세트 프로세스에서 뛰어난 퀄리티와 임팩트를 선사하는 시네마틱 제작을 가능하게 한 과정을 보여줍니다. 게다가 단시간에 완성된 애니메이션의 퀄리티가 무척 높았고, 최종적으로 다듬는 작업도 소수의 애니메이터만으로 가능했습니다.
프로젝트 진행을 위해 3래터럴은 커스텀 4D 스캔 기법을 사용하여 부크빅의 모습을 캡처했습니다. 3래터럴 팀이 이 데이터로부터 맞춤형 메타휴먼 릭을 만든 반면, 메타휴먼 애니메이터가 캡처된 연기로부터 만든 애니메이션 데이터는 메타휴먼 크리에이터 또는 메시 투 메타휴먼으로 생성한 캐릭터를 포함하여 페이셜 릭이 해당 메타휴먼 페이셜 디스크립션 표준의 컨트롤 로직을 사용하는 모든 디지털 캐릭터에 적용할 수 있습니다.
작품은 완전히 디지털 방식으로 제작되었지만 시작과 팀원들은 프로세스 내내 전통적인 영화 제작 경험을 상당히 활용했습니다.
라이브 액션 촬영과 똑같이 라이팅을 디자인하기 위해, 팀은 실제 조명을 가져와서 원하는 부크빅의 모습을 담을 때까지 조정했습니다. 선택한 라이팅 구성을 언리얼 엔진에서 디지털로 재현한 결과, 부크빅이 모션 캡처 세트에 있는 동안 라이팅이 배우의 애니메이팅된 메타휴먼을 어떻게 비추는지 빠르게 미리 보고, 필요하다면 즉시 재촬영할 수도 있었습니다. 당연히 실제 조명과는 달리 라이팅을 미세 조정할 수 있었습니다. 시작에게는 확실한 이점이었습니다.
시작이 말합니다. "조명이 세트에 없어도 배우에게 조명이 미치는 결과를 확인하고, 나중에 조명을 바꿀 수 있죠. 정말 작업하기 좋은 환경입니다. 자연스럽게 느껴졌고 워크플로가 정말 대단했습니다."
사실성을 더하기 위해 돌리 트랙을 갖춘 실제 영화 카메라를 모션 캡처 스튜디오에 도입했습니다. 카메라는 부크빅의 몸과 얼굴을 따라 움직였습니다. 이 모든 것을 통해 팀은 언리얼 엔진에서 카메라 모션을 정밀하게 재현할 수 있었고, 부크빅의 메타휴먼은 카메라에 맞춰 연기할 수 있었습니다.
(중략)
메타휴먼 애니메이터는 전문가용 스테레오 헤드 마운트 카메라나 비싼 하드웨어를 갖출 필요가 없다는 장점이 있습니다. iPhone(12 이상)과 데스크톱 PC로도 작업이 가능하기 때문에 이미 가지고 있는 장비와 메타휴먼 캐릭터로 언리얼 엔진에서 자신만의 시네마틱을 만들 수 있습니다.
메타휴먼 커뮤니티 허브에서 시작하는 방법을 자세히 알아보고 전체 문서를 살펴보고 다른 개발자 및 크리에이터와 프로젝트를 논의해 보세요.