이현석 ㈜비브스튜디오스 감독
다큐멘터리의 시작
2019년 봄이 시작될 무렵 MBC 김종우 PD로부터 메일이 왔다. 다큐멘터리 프로그램을 위해 VR 제작사를 찾던 중 美 라스베이거스에서 열린 VRFEST에서 자체 VR 콘텐츠를 제작해 2017년과 2018년 2년 연속 애니메이션 부문 대상을 차지한 기사를 읽고 연락했던 것이다. 메일 내용은 VR을 소재로 한 휴먼다큐멘터리를 기획하고 있는데 실제로 제작 가능할지에 대한 문의 내용이었다. 프로젝트 기획 자체가 참신하고 흥미로운 부분이 있어 다양한 이슈를 체크하기 위해 일단 만나자고 했다.
사무실로 찾아온 김종우 PD의 이야기를 들어보니 ‘VR과 인간의 마음’, ‘기억과 디지털 재현’ 등 여러 가지 호기심을 가지고 일찌감치 프로젝트 기획을 진행 중이었다. 이어 ‘기억’ 속의 ‘공간’, ‘사물’, ‘사람’을 디지털로 복원해 ‘사람의 마음’을 위로할 수 있는 가능성을 VR을 통해 탐험할 수 있을지에 대한 기획 의도와 프로그램 방향에 대해 이야기했다.
VR의 가장 큰 장점은 ‘Immersive’ 즉 공간과 사물을 입체적으로 경험할 수 있는 몰입감에 있다. 이 기술의 장점을 이용하면 사별한 가족을 가상세계에서나마 잠시 만나 이야기를 나눌 수 있는 비슷한 경험을 줄 수 있을 것이라는 목표를 세우며 다큐멘터리 제작이 시작되었다.
MBC VR 특집 휴먼 다큐멘터리 ‘너를 만났다’는 7살 어린 딸 ‘나연’을 혈액암으로 갑작스럽게 떠나보낸 어머니가 VR 기술을 통해 다시 만나는 이야기를 담은 다큐멘터리다.
VR 프로젝트의 시작
비브스튜디오스는 국내 최고의 CG 기술을 보유하고 있어 다양한 CM, 디지털 미디어, 영화 VFX(시각특수효과) 작업을 진행해 왔으며, 오래전부터 VR과 AR 같은 실감 미디어 콘텐츠 개발에도 참여해 다양한 솔루션을 보유하고 있다. 현대자동차, 도요타자동차, 삼성, LG, 기아 자동차 등과 같은 대기업들과 넥슨, NC 소프트, 컴투스 등의 국내 최고 게임회사 프로젝트에 참여할 정도로 클라이언트의 깐깐한 입맛을 맞출 수 있는 인정받은 실력이 있어 디지털 휴먼 개발에 필요한 기술과 경험은 충분히 가지고 있었다.
하지만 두 가지의 걸림돌이 있었다. 첫 번째는 ‘과연 세상을 떠난 고인을 디지털로 복원해 가족들과 만나게 한다는 설정 자체가 윤리적으로 허용이 되는가?’, ‘혹시나 가족들에게 상처가 되거나 트라우마가 생기지 않을까?’ 하는 고민이었다. 하지만 프로젝트의 취지 자체가 가족들을 위로하는 것이 목표이고, 실제로 건강한 철학을 가지고 계신 나연이 어머니의 이야기를 듣고 나니 프로젝트에 확신이 생기게 되었다.
나연이 어머니는 나연이가 세상을 떠난 2016년 이후 지금까지도 추억과 그리움에 대해 개인 블로그에 기록을 남겨왔다. 세상에 없었던 아이가 되는 것이 싫어 죽을 때까지 기억하고 싶어 하는 건강한 사랑이 누구보다 큰 사람이다. 나연 어머니는 이 프로젝트를 통해 ‘갑자기 세상을 떠나 마지막에 전하지 못한 말을 전하고 꿈속에 조차 나타나지 않던 아이를 다시 한번 보는 것’. 그저 갑작스러운 상실에 대한 그리움과 사랑이 전부인 것이다. 이렇게 건강한 철학과 사랑을 가지고 있는 어머니라면 가상현실 속에서 나연이를 만나 사랑을 이야기하고 평온하게 떠나보낼 수 있을 거라 믿었다.
둘째는 제작비에 관한 문제였다. 방송프로그램 중 시사/교양에 해당하는 다큐멘터리 장르이므로 VR 콘텐츠 개발에 제대로 투자할 수 있는 비용이 절대적으로 부족했기 때문이다. 보통 30초짜리 Full CG 광고를 만들어도 1억 내외이다. 하지만 이 프로젝트는 세상에 없는 아이를 고퀄리티 3D 디지털로 복원하고 움직이고 말하고 인터랙션이 일어나도록 최소 5분 이상의 360도 콘텐츠로 개발해야 한다. 평균적으로 품질과 연출의 난이도에 따라 10억에서 20억 사이의 비용이 드는 매우 큰 프로젝트이다. 하지만 10분의 1도 안 되는 제작비 제안이었지만 참여를 결심했다. 여러 가지 이유가 있지만 그중 가장 큰 이유는 VR이 사람을 위해서 정말 큰 일을 할 수 있다는 결과를 보여주고 싶었고, 사람과 교감할 수 있는 제대로 된 콘텐츠를 만들고 싶었기 때문이다. 오래오래 기억해주고 싶은 가족의 마음을 담아 가상현실 속에서 아름답고 새로운 경험을 선물해 주는 것을 목표로 ‘너를 만났다’ VR 프로젝트는 시작되었다.
VR 콘텐츠 기획과 시나리오
많은 사람이 방송을 보고 질문한다. 그중 가장 많은 질문은 기술에 대한 것이다. 하지만 이번 프로젝트에서 연출자로서 가장 공들인 것은 ‘기술이 초점이 아닌, 기술을 통해 어떤 경험을 선사할 것인가?’였다. 이는 사연과 기억을 토대로 쓰인 스토리, 즉 시나리오에 해당하는 부분이다. (물론 CG 아티스트와 개발자들 역시 자신의 위치에서 최선을 다했다) VR은 감상이 아니고 경험이기 때문에 어머니가 체험을 마쳤을 때 정말 나연이를 만나 기억 속의 추억을 되새김과 동시에 아름다운 세상에서 평화롭게 지내는 나연이를 보며 안도하고 즐거워할 수 있는 새롭고 행복한 경험을 주고 싶었다.
그러기 위해서는 어머니와 나연이에 대해 최대한 많은 이야기와 기억을 이해할 수 있어야 했다. MBC에서는 다큐멘터리 제작과정에서 어머니는 물론 가족들, 주변 인물들과 많은 이야기를 나누고 정보들을 수집해 제공해 주었다. 그 이야기를 토대로 콘셉트를 잡고 뼈대를 만들었지만 초기 기획안은 모두 버려야 했다. 이유는 제작과정이 진행되면서 다큐멘터리도 동시에 제작되기 때문에 시간이 지날수록 새로운 정보들이 더 많이 생겨나 초기 기획안은 점점 쓸모없어졌기 때문이다. 처음에는 정보가 많지 않아서 판타지 요소들을 많이 집어넣었었지만 시간이 지날수록 나연이와 가족들 간의 즐거운 추억들이 많이 공유되어 낯선 환경보다 익숙하고 공감이 되는 환경들로 이야기를 풀어나갔다.
이야기의 가장 중요한 요소는 가상현실 속에서의 ‘만남’, ‘함께할 경험’, ‘헤어짐’에 대한 것이다. 한 번 이별을 겪은 상실감을 달래기 위해 다시 만나는 과정과 만나서 함께 나눌 수 있는 경험, 그리고 어쩔 수 없이 또다시 헤어져야 하는 숙제를 풀기 위해 고민했다. 고민하던 중 인터뷰 내용을 통해 ‘나비’에 관한 이야기를 들었다. 나비는 평소 가족들이 나들이하다 꽃 주변에 있는 나비를 보면 막내딸이 “나연 언니 왔다”라고 말할 정도로 나연과 연결할 수 있는 매우 중요할 매개체 역할을 담당할 수 있을 거라 생각했다.
어머니가 가상현실 체험을 시작하면 제일 처음으로 평소 온 가족이 자주 가던 상암동 노을공원에서 나비를 만나게 된다. 자꾸 주변을 맴돌던 나비가 체험자의 손바닥에 앉으면 체험자는 친숙하고 자연스럽게 말을 걸고 교감할 수 있도록 연출했다. 이 장면은 VR에 익숙하지 않은 체험자가 마음을 열고 몰입할 수 있도록 도와주면서 자연스럽게 나연이를 만나는 과정과 연결하는 장치이다.
체험이 끝날 때 역시 나비가 등장한다. 잠든 나연 곁에 나비가 앉으면 힘찬 나연의 심장 소리와 함께 꿈이 깨듯 천국에서 노을 공원으로 돌아오게 된다. 나연이는 죽은 것이 아니고 천국에서 잠든 것이라는 안도감과 함께 늘 우리 곁에 있는 나비가 되어 존재한다고 말하고 싶었던 부분이다. 그렇게 어머니는 평온하게 천국의 아이를 만나 행복한 꿈을 꾸길 바랐다.
어머니가 나연을 만났을 때 이루어지는 새로운 경험을 위해 최대한 익숙한 사물과 소품들을 많이 배치해 천국에서 나연이가 외롭지 않게 잘 지내고 있다는 안도감을 심어주고 동시에 과거 추억과 연결해 최대한 몰입할 수 있도록 도움을 주는 장치들을 마련했다. 평소 자주 입던 옷, 좋아하던 슬리퍼, 매일 메고 다니던 가방… 그 외에도 두 모녀의 연결고리로서 상징적인 역할을 하는 머리띠, 장난감, 인형, 놀이 기구 등을 이용했다. 이렇게 익숙한 나연이가 평소 즐겨 부르던 노래, 좋아하던 놀이, 좋아하던 미역국을 먹고 있으면 어머니는 사랑스러운 딸을 다시 만나 행복한 추억을 쌓고 못다 한 이야기를 나누길 바랐다. 그리고 그 바람은 이루어져 어머니는 누구보다 딸을 반기며 많은 이야기를 나누고, 새롭고 감격스러운 경험을 했으리라 믿는다.
3D 모델링 과정
나연이를 3D로 모델링하는 과정은 약 3개월 정도(3D 스캐닝 모델 섭외부터 완성까지) 걸렸다. 세상에 없는 아이를 실제처럼 만들기 위해서는 기본적으로 자료가 많아야 한다. 다행히도 나연이는 어린아이이기 때문에 부모들이 찍어 놓은 사진들은 매우 많았다. 하지만 정말 사실적으로 표현하기 위해 베이스가 되는 형태를 3D 스캐닝을 통해 만들기로 했다. 비슷한 체형과 이목구비를 가진 아이를 3D 스캐닝 기술을 통해 기본 데이터를 만들고 이어서 사진과 동영상 자료들을 보며 디테일을 잡아 나갔다. 3D 스캐닝 당시 애니메이션 과정을 생각해 약 52개 이상의 표정을 만들어야 하지만 시간과 비용을 절약하기 위해 15개의 표정만 블랜드 쉐입(Blend Shape)용으로 추가 제작했다. 당연히 표정 표현에서 완벽할 수 없었지만 시나리오에 등장하는 주요 표정과 평소 나연이의 특유 특징들을 살린 대표 표정들을 살리기 위한 방법이었다.
사람을 3D 모델링으로 표현하는 과정은 서양사람에 비해 비목구비와 얼굴 형태의 특징이 적은 동양인은 상대적으로 더 어렵다. 더구나 아이는 성인보다 주름과 형태의 특징이 더 적어 그보다 더 어렵다 할 수 있다. 또한 VR 콘텐츠 자체가 인터랙션을 이용할 수 있어야 하므로 어쩔 수 없이 실시간 렌더링(Realtime Rendering) 방식을 사용해야만 했다. 실시간 렌더링은 프리 렌더링(Pre-Rendering) 방식에 비해 데이터가 훨씬 가벼워야 해서 고퀄리티 모델링 작업에 있어 좋은 조건이 아니다. 그런데도 최상의 퀄리티를 유지하기 위해 고품질 그래픽 특성에 맞는 언리얼 엔진을 사용했다. – 이러한 실시간 렌더링 방식도 PC 성능의 향상과 소프트웨어 기술의 발전으로 프리 렌더링 못지않은 퀄리티를 자랑할 때가 머지않았다고 판단된다.
3D 애니메이션 과정
3D 작업에서 애니메이션 과정은 매우 고되고 오래 걸리는 작업이다. 보통의 사람들은 모션캡처를 활용하면 사람의 움직임 데이터를 3D 캐릭터에 바로 적용하기 때문에 매우 쉽고 빠르게 완성된다고 생각하지만 실제로는 그렇지 않다. 3D 애니메이션 과정에서 모션캡처 기술을 이용하는 이유는 사람의 움직임을 사실적으로 표현하기 위해서이다. 하지만 모션캡처를 하더라도 손가락의 움직임이나 의상 등의 시뮬레이션은 대부분 적용되지 않는다. 그리고 자주 에러가 발생하기 때문에 차후 모든 동작과 디테일을 일일이 다 만져줘야 한다. 수개월이 걸리는 작업이다.
또한, 평소 나연이의 모든 특징을 알고 있는 어머니가 체험의 주인공이니 더 많이 신경 쓸 수밖에 없었다. 최대한 나연이와 가깝게 완성하기 위해 남아있던 동영상들을 분석하여 모션캡처 연기자에게 나연이의 특징들을 학습시켰다. 표정 역시 나연이 특유의 표정과 자주 쓰는 특징들을 파악해 모션캡처 촬영 시 페이셜 촬영(모션테크놀로지)을 함께 진행했다. 시나리오대로 한 장면씩 동작을 완성했지만, 그것 외에도 인터랙션을 위한 ‘리액션’ 장면의 애니메이션을 따로 만들어야 했다. 예를 들면 ‘체험자가 나연이의 머리를 쓰다듬었을 경우의 리액션’, ‘나연이가 원하는 행동을 체험자가 하지 않았을 때의 리액션’ 등 예측할 수 없는 체험자의 행동에 대비한 인터랙션 요소들이다. 약 8분 30초 분량의 애니메이션을 완성하기 위해 3개월 이상 작업했다.
인터랙션 및 실감 미디어 기술
많은 사람이 목소리 구현에 대해서 궁금해한다. 나연이의 동영상에 음성이 있지만 대부분이 노이즈가 섞여 있거나 짧은 단어 또는 감정표현에 대한 음성들이다. 대화나 문장형의 오디오 데이터가 1분 정도밖에 없었기에 음성을 표현하는데 매우 애를 먹었다. 처음에 비슷한 목소리를 가진 성우로 더빙할 생각도 했었지만 다른 사람의 목소리로 나연이를 대신한다는 사실이 가족들에게 너무 미안해 이내 마음을 접었다. 여러 방법을 찾던 중 다행히 백범 김구 선생님의 음성을 복원했던 ‘AI 음성인식’ 기술을 가진 회사(네어사피엔스)를 만나 도움을 받을 수 있었다. 하지만 ‘AI 음성인식’ 기술도 실제 인물의 오디오 데이터가 10시간 이상 있어야 제대로 구현이 가능한 기술이었다. 우리는 나연이와 비슷한 음성톤을 가진 5명의 아이 목소리를 800문장 이상 수집하고 수십 명의 성우 목소리 데이터와 합쳐서 나연이와 교집합 되는 음성데이터를 만들었다. 처음에는 많이 달랐지만 연산 과정을 거듭할수록 비슷해져 갔다. 나연이 음성이 너무 적었기 때문에 100% 구현은 힘들었지만 어느 정도 비슷한 말투와 감정 표현들이 드러나는 것이 신기했다.
이 외에도 사실적인 인터랙션과 몰입도 향상을 위해 여러 가지 솔루션을 적용했다. 처음에는 AI를 적용해 어머니와 대화를 나누게 하고 싶었지만 데이터가 얼마 없는 나연이의 인격을 학습시킨다는 것도 말이 안 되고 주어진 시간과 예산 안에서 성공한다는 보장이 없어 포기해야만 했다. 하지만 어머니가 나연이를 만졌을 때 촉감, 체온, 나연이의 반응 들을 느낄 수 있도록 햅틱 글러브에 체온표현 센서(차영수 KIST 박사)를 장착했다. 국내 기술로는 처음 있는 일이었지만 아직 상용화가 안 된 기술이라서 실제 체험 당시 안전상의 문제로 사용하지 않았다. 이 외에도 바람 효과와 같은 4D 효과, ‘초 건네주고 꼽기’, ‘감자꽃 건네주기’ 등의 인터랙션 요소를 넣어 체험적인 요소를 강화해 몰입도를 높이도록 애썼다.
VR과 마음
VR 하면 보통은 게임이나 영화, 뮤직비디오 등과 같은 엔터테인먼트적인 요소를 떠올린다. 하지만 실감 미디어 기술을 이용해 사람을 치료하는 콘텐츠들은 일찌감지 개발되고 있었다. 노인들의 치매 치료를 위한 콘텐츠나 고소공포증 환자를 위한 콘텐츠, PTSD(외상증후군)을 겪는 환자들을 치료하는 콘텐츠 등의 다양한 심리치료 요소들과 의학적 견해를 VR과 접목시킨 예이다. 그리고 꼭 VR이 아니더라도 세상을 떠난 실존인물을 디지털로 복원해 홀로그램으로 만나 대화를 나누는 등의 시도들은 전에도 있었던 사례들이다. 이러한 측면으로 볼 때 VR을 비롯한 다양한 실감 미디어 기술은 분명 사람과 맞닿을 수 있는 부분들이 있다.
현대 의학들이 기술적 도움을 받아 발전했듯이 미디어의 기능이 사람에게 해를 끼치는 것이 아닌 선한 영향력을 줄 수 있는 순기능의 의학적 도구로 사용된다면 사람의 마음을 치유할 수 있다고 본다.
또한, 환자를 위한 콘텐츠가 아니더라도 대중을 위한 좋은 콘텐츠 개발 가능성이 열려 있다고 본다. 예를 들면 모두에게 인정받는 훌륭한 지도자나 독립운동가들을 복원해 후대를 위한 좋은 메시지를 전달한다든지, 많은 사람에게 사랑받았던 아티스트를 복원해 새로운 퍼포먼스와 감동을 준다든지 하는 대중을 위한 콘텐츠로써 말이다.
VR의 미래
최근 VR 시장 성장에 대한 많은 사람의 우려 섞인 목소리를 들었다. ‘요즘 침체기 아닌가?’, ‘망한 것 아닌가?’ 하는 등의 반응들이 많지만 VR, AR, MR 등 실감 미디어 기술은 절대 사라지지 않을 기술이다. 왜냐하면 미래는 이러한 기술들이 생활이 될 것이기 때문이다. 홀로그램이나 가상현실로 사람과 대화하고 AI 로봇과 인터랙션하면서 생활의 편리, 교육, 오락, 의료, 통신, 업무 등의 기능들을 담당할 것이다. 아직 걸음마를 시작한 단계도 아닌 현재 상황만 보고 VR의 미래를 점치긴 매우 이른 시기이다.
그런데도 이러한 기술들이 갖는 부정적인 부분에 대해서 많은 사람이 이야기한다. 하지만 기술발전은 계속될 것이고 이 기술을 어떤 사람들이 어떻게 쓰느냐에 따라 그 기능은 달라질 수 있다. 예를 들어 처음 사진이나 동영상 기술이 나왔을 때도 사실과 똑같은 사람이 그림과 모니터 속에 있는 것을 보고 부정적인 영향에 대해 지적했을 것이다. 하지만 사진과 비디오는 사회적으로 다양하게 활용되며 순기능적인 역할이 많다. 반대로 부정적인 영향을 끼치는 잘못된 콘텐츠들도 있다. 이러한 이유는 기술을 사용하는 사람들의 목적이 다르기 때문이다.
처음 이 프로젝트를 시작할 때도 그랬지만 많은 사람이 염려하듯이 사람과 연결된, 특히 사람의 마음과 연결된 프로젝트라면 상처나 악영향이 미치지 않도록 신중 또 신중하며 기술개발을 이루어 나아가야 한다. VR과 마음을 연결한 의미 있는 프로젝트가 시작되었으니 인류를 위해 더 큰 에너지를 가진 훌륭한 콘텐츠들이 더 많이 개발되며 성장할 것이다.
