BEYOND LIVE(UNTACT + CONCERT) 중계 제작기
한지수⋅김지수 MBC 씨앤아이 사원, 영상 엔지니어
2020년 5월 31일 6주간 진행된 슈퍼주니어의 공연을 끝으로 올림픽 홀에서 진행된 ‘BEYOND LIVE’를 마무리하였다. 특히 마지막 슈퍼쇼는 전 세계 유료시청자가 12만3천 명이 실시간으로 동시 접속하였고 더불어 엄청난 흥행과 이슈를 만들며 성황리에 막을 내렸다.
최근 코로나-19로 인하여 각종 공연이 취소되면서 방송사와 연예기획사에서 비대면 뜻하는 언택트(UNTACT) 공연을 기존 공연의 대안으로 제시하였다. SM엔터테이먼트는 네이버 V라이브 앱과 합작하여 새로운 대안을 제시하게 되었는데, 바로 기술과 공연을 결합한 세계 최초 온라인 전용 유료 콘서트 비욘드 라이브(BEYOND LIVE)이다. ‘Beyond Live’는 SM엔터테인먼트가 지향하는 새로운 컬쳐테크놀러지를 콘서트 분야에 반영한 신개념 공연이다. 안방 시청자에 볼거리를 풍부하게 해주는 AR 기술, 화상 토크 기술 등을 통한 팬들과의 양방향 소통, 단순한 시청 개념이 아닌 구매자의 니즈를 충족시키는 다양한 방법을 모색하였다.
SM엔터테이먼트, 드림메이커엔터테인먼트리미티드, MBC 씨앤아이의 협업으로 새로운 패러다임을 만든 이번 공연에서 어떠한 기술과 내용으로 전 세계 팬들을 매료시켰는지 살펴보자.
BEYOND LIVE 중계 시스템 구성
이번 공연은 기존 공연에서 필요한 무대, 영상, 음향, 조명 등뿐만 아니라 중계차, AR, 화상회의, 네이버 V앱 추가되어 공연을 만들었다. 그 중심에서 영상/음향 신호를 총괄하는 중계차는 오프라인 공연 제작 시 담당하던 송출, 녹화, 현장 PGM 제작을 넘어서 더 많은 기능을 수행하였다. 카메라 포맷은 퍼포먼스 영상미를 극대화하고자 1920×1080×29.97 PSF로 제작하였다. 카메라의 대수는 매주 공연을 하는 아티스트의 멤버 수에 따라 최소 12대에서 15대까지 사용하였다. 또 아티스트와 마주 보는 듯한 1인칭 시점의 카메라워킹을 연출하기 위하여 무선 짐벌 카메라를 활용한 것도 특이할 만 하다.
AR, 화상토크, V앱의 송출에 영상/음향 신호를 제공해야 하였고 오티콤, 브릿지 UHD 컨버터 등의 광 전송 장비를 사용하였다. AR 시스템을 구성하기 위하여 AR용 J/J 카메라 신호를 중계차에서 보내고, 그 그림에 AR이 만들어진 그림을 중계차로 보내 사전녹화 및 LIVE PGM에 활용하였다. 또한 현장의 풍성한 오디오를 안방에 그대로 전달하기 위해서 V라이브 앱의 전용 콘솔을 설치하여 온라인 오디오 환경에 맞게 믹싱을 하였고 더불어 최종 마스터인 중계차에서도 다수의 오디오 트랙을 받아 소리의 부족한 부분을 섬세하게 마무리하여 송출하였다.
녹화는 KIPRO를 사용하였으며 포맷은 ProRes 422HQ로 촬영했다. 각 카메라뿐만 아니라 PGM, AR, 멀티뷰어 아웃을 녹화하여 매번 15대 이상의 KIPRO를 사용하였다. 중계 현장에서 녹화는 언제든 문제를 발생시킬 수 있으므로 예비 녹화기도 2대 이상 준비하였다. 이번 프로그램을 구성하면서 중계차에 배치된 200개의 비디오 패치라인을 모두 사용하였고, 패치라인이 부족하여 다른 중계차에서 대여하여 사용할 정도로 시스템이 복잡하였다.
AR(augmented reality, 증강현실)을 통한 감각적 볼거리 제공
비대면 공연을 통하여 가장 고민이었던 부분은 ‘어떻게 하면 공연장의 현장감을 안방으로 고스란히 전달할 수 있을까’와 ‘오프라인 공연과의 차별화’가 아닐까 싶다. 다른 온라인 공연과의 차이점이자 이번 공연에서 가장 많은 신경을 쓴 부분은 언리얼 게임엔진의 AR 기술과 실시간 렌더링 기술이다. 게임엔진의 AR 합성 기술로 가상의 무대 위에 아티스트의 모습을 실시간으로 융합해냈으며 현장 스크린 영상과 싱크를 맞추어 사원에서 용이 승천하는 모습 및 헬리콘터가 화면에서 나오는 모습 등을 라이브 화면 속에 그대로 구현해냈다.
특히 SM엔터테이먼트와 SK텔레콤이 협력하여 선보인 ICT 기술 기반의 최첨단 ‘볼류 메트릭’ 기술을 활용하여 슈퍼주니어의 최시원 씨가 ‘자이언트 시원’으로 깜짝 등장해 보여 이목을 집중시켰다. 이 기술은 최시원의 움직임을 106대의 카메라로 세밀하게 담았다. 이를 3D 모델링, 애니메이션 기술을 활용해 12M 크기의 고해상도 3D 홀로그램으로 구현했다.
화상토크를 통한 인터렉티브 소통
비욘드 라이브의 성공 비결 중 하나로 콘텐츠와 시청자 간의 쌍방향 소통을 꼽을 수가 있다. 실시간 댓글을 기반으로 소통함과 동시에 실시간 화상토크를 통하여 전 세계(총 109개국)의 팬들과 다양한 언어로 소통을 하였다. 개인 환경에 따른 끊김 현상 및 화질과 음성이 고르지 못한 점이 있었으나 매회를 거듭할수록 점차 개선되어가는 모습을 보이며, 앞으로의 가능성을 보여주기에 충분하였다.
방구석 1열을 위한 다양한 서비스 제공
현장의 느낌을 안방으로 전달하기 위한 다양한 서비스가 제공되었다. 원하는 멤버 한 사람만 볼 수 있는 멀티캠(직캠) 서비스를 제공하였고, 최대 2개의 동시접속을 지원하여 자신이 좋아하는 멤버를 선택하여 직캠과 PGM을 동시에 시청함으로써 시청자의 만족도를 높여 주었다. 그리고 네트워크 환경에 맞춰 안정적으로 영상 중계를 하도록 네트워크 상황을 분석, 최적화된 환경으로 동영상을 송출하는 ABP 기술을 통해 해외 시청자에게도 안정적 라이브 방송 제공하였다.
또한 이번 공연에서의 또 다른 요소 중 하나인 ‘싱크플레이 기술’이 접목이 되었다. 무선통신에 기반을 두고 라이브 영상 싱크에 맞춰서 가정에 있는 시청자의 응원봉의 색상 및 효과가 실시간으로 변경되었고, 이로 인해 집에서도 공연을 함께 응원하고 즐기는 듯한 느낌을 더했다.
마무리하며
코로나-19에 슬기롭게 대응한 ‘BEYOND LIVE’는 SM엔터테이먼트의 콘텐츠에 대한 지속적인 투자와 관심이 있었기에 가능하였다. 특히 과거에 당사가 참여한 서라운드 뷰잉(3면 와이드로 제작하여 객석의 3면을 감싸는 스크린을 통해 아티스트 콘서트 실황 영상을 상영하는 기술)과 홀로그램 제작 등의 콘서트 콘텐츠에 대한 지속적인 연구와 개발이 있었기에 BEYOND LIVE를 제작할 수 있었다.
또한 드림메이커엔터테이먼트를 중심으로 매일 늦은 시간까지 조명, 음향, 영상, AR, 편집, 중계 스텝들의 노력으로 처음 시도해보는 언텍트 시대의 공연을 성공적으로 마무리하였다. 이번 공연이 새로운 기술의 실용화를 한층 더 빨라지게 할 뿐만 아니라 콘텐츠에 다양성을 넓히는 두 가지 측면을 모두 얻을 수 있었던 좋은 기회였다고 생각한다.
