최성우 KBS 미디어기술연구소 선임연구원
KBS 미디어기술연구소에서 개발한 vVERTIGO
vVERTIGO는 인물 인식 AI 기술을 활용하여 8K 이상의 초고해상도 영상에서 자동으로 인물을 추적하고, 인물별 리프레임(Reframe) 영상을 제작할 수 있는 KBS 미디어기술연구소가 독자적으로 개발한 멀티뷰 영상 편집 솔루션이다.
vVERTIGO를 적용한 가장 대표적인 사례는 음악방송 <뮤직뱅크>의 아이돌 및 가수 직캠 제작이다. KBSKpop 유튜브 페이지에는 매주 <뮤직뱅크>에 출연한 가수들의 멤버별 직캠이 업로드되어 서비스되고 있다. 지난 2019년 여름에 적용되어 3년째 되는 지금까지 서비스되고 있는 <뮤직뱅크>의 모든 직캠 영상은 vVERTIGO를 이용하여 제작되었다.
최근에는 <신상출시 편스토랑>, <누가누가 잘하나> 등 관찰 포맷 프로그램에서 멤버별 리액션 영상 제작에도 사용하고 있으며 점차 적용 범위를 넓혀가고 있다.
1
vVERTIGO의 콘셉트
vVERTIGO의 시작은 음악방송의 세로 직캠을 보다 효율적으로 제작하기 위한 고민에서 시작되었다. 여러 명의 멤버로 구성된 Kpop 아이돌 그룹의 직캠을 촬영하기 위해서는 기본적으로 멤버 1명당 1대의 카메라가 필요하다. 최근 아이돌 그룹은 적게는 4~5명에서 많게는 10명 이상의 멤버들이 있으므로, 안정적으로 모든 멤버의 직캠을 촬영하기 위해서는 10대 이상의 카메라가 필요하게 된다.
그러나 스튜디오 공간은 제한되어 있고 본방송 제작용 카메라가 이미 여러 대 배치되어 있어 직캠용 카메라를 추가로 다수 배치하는 것은 현실적으로 어렵다. 그 때문에 아이돌별로 대표적인 멤버 몇 명만 추려서 직캠을 촬영하는 것이 현실적이었다. 또는 사전 녹화 때 여러 번 녹화를 반복하는 점을 이용하여 각 회차 때마다 다른 멤버를 바꾸어가며 직캠을 촬영하는 방식을 택했다.
우리는 직캠 촬영에 멤버별 카메라를 배치할 수 없는 현실적인 제약을 극복하기 위해 새로운 제작 방식을 고민하기 시작했다.
vVERTIGO는 한 대의 초고해상도 카메라라 만으로 모든 아이돌 멤버의 직캠을 제작하는 방식을 택했다. 8K 이상의 초고해상도 카메라로 모든 인물을 담은 영상을 촬영한 후, 멤버별로 영상을 잘라내어 리프레이밍(Reframing)하여 직캠을 제작한 것이다.
이때 각 인물의 움직임을 추적하여 관심 영역 ROI(Region of Interest)를 이동시키는 작업이 필요한데, 이는 인물 인식 AI 엔진을 도입하여 자동으로 인물을 추적하고 분류하는 방법을 사용했다. 즉, 8K 이상의 초고해상도 카메라와 인물 인식 AI 엔진을 이용한 자동 인물추적 리프레이밍으로 기존의 직캠 제작 방식을 대체한 것이다.
이런 고해상도 영상에서 원하는 피사체의 움직임을 추적하여 리프레이밍 하는 vVERTIGO의 제작 방식은 음악방송 직캠 제작뿐만 아니라 다른 여러 가지 영상 제작에도 적용될 수 있다. 최근 SNS에서 인기 있는 Shorts/TikTok/IGTV 영상이나, 여러 명의 패널이 등장하는 관찰 예능 및 시사 교양 프로그램의 패널 리액션 영상을 제작할 때도 유용하게 사용된다.
vVERTIGO의 핵심 기능
vVERTIGO가 제공하는 핵심 기능의 첫 번째는 고해상도 영상의 일부를 피사체의 움직임에 맞게 잘라내는 인물별 리프레이밍 기능이다. 위 그림의 좌측 방식이 일반적인 직캠 방송제작 환경에서 촬영하는 방식이며, 멀티캠 촬영 방식이라고 한다. vVERTIGO는 위 그림의 오른쪽과 같이 멀티캠과 같은 결과를 내지만 보다 적은 카메라와 카메라맨을 사용하는 방식을 고안했다. 초고해상도 영상에서 피사체가 움직이는 궤적에 따라 영상의 일부를 잘라내는 리프레이밍 방식을 사용했다.
8K 영상의 경우 세로 기준 해상도가 4320p이기 때문에 인물의 높이가 전체 영상의 40% 이상만 유지되어도 리프레이밍 시에 FHD 화질인 1920p를 만족한다. 위 그림의 좌측과 같이 주로 멤버 수가 많은 아이돌 그룹의 경우 최대 줌아웃으로 촬영했을 때 가장 작게 찍히는 인물의 크기가 영상 높이의 40% 내외를 만족한다. 그리고 위 그림의 우측과 같이 멤버 수가 적은 그룹의 경우에는 전체 멤버를 크게 찍을 수 있으므로 영상을 크롭하더라도 4K 수준의 화질을 얻을 수 있다.
리프레이밍 작업의 또 다른 장점은 멤버별 영상의 싱크를 맞출 필요가 없다는 점이다. 직캠을 서비스하는 플랫폼에 따라 전체 그룹 영상과 멤버별 영상의 싱크를 맞추어야 할 때가 있는데 서로 다른 카메라로 따로 촬영한 모든 영상의 싱크를 맞추는 작업은 매우 어렵다. vVERTIGO로 작업 된 영상은 모두 하나의 원본 영상에서 분리된 영상이기 때문에 따로 싱크를 맞추는 작업이 필요 없이 유통될 수 있다.
vVERTIGO의 핵심 기능 두 번째는 KBS 미디어기술연구소에서 자체 개발한 딥러닝 기반 인물 인식 AI 엔진이다. 영상에 등장하는 각 인물의 움직임을 따라 리프레이밍을 하기 위해서는 짧은 프레임 간격으로 굉장히 많은 수작업이 요구된다. 특히 Kpop 아이돌 그룹과 같이 격한 안무와 대형 변화 등이 많을 때는 더욱 움직임을 쫓기가 힘들다. vVERTIGO는 이러한 작업의 수고를 덜기 위해 딥러닝 기반 인물 인식 AI 엔진 기술을 적용하여 움직이는 피사체를 자동으로 추적하여 키프레임을 생성한다.
vVERTIGO의 인물 인식 AI 엔진은 KBS 아카이브가 보유한 방대한 아카이브를 토대로 학습하여 인식 성능의 우위를 가지고 있다. 일반적으로 공개된 얼굴 인식 관련 데이터셋은 서양인의 비중이 높기 때문에, 한국인을 인식하고 구분해내는 데에는 양질의 KBS 아카이브의 데이터셋으로 학습한 vVERTIGO의 인물 인식 엔진이 유리하다. vVERTIGO의 인물 인식 AI 엔진의 학습에는 KBS 아카이브의 영상 4만 편, 이미지 400만 장의 빅데이터가 사용되었다. KBS는 2019년 AI 처리 프로세스에 대한 특허를 확보하였고, 현재 후속 기술에 대한 특허도 출원 중에 있다.
vVERTIGO의 핵심 기능 세 번째는 GPU 가속기술을 이용한 고속 영상 프리뷰, 고속 렌더링, 및 고속 AI 엔진분석 기능이다. vVERTIGO에서 사용하는 원본 영상은 8K 화질의 초고해상도 영상이기 때문에 AI 분석, 프리뷰 및 렌더링에 많은 시간이 소요된다. vVERTIGO는 GPU 자원을 최대한 활용하여 이를 매우 빠른 속도로 처리하여 통상적인 상용 NLE보다 빠른 퍼포먼스를 보인다.
vVERTIGO의 핵심 기능 네 번째는 리프레이밍 작업을 위한 빠르고 직관적인 UI/UX이다. 인물별로 움직임을 추적하면서 크롭하는 작업은 상용 NLE에서 매우 오랜 시간이 걸린다. 실제로 같은 리프레이밍 작업을 수작업으로 할 때 Adobe 프리미어와 vVERTIGO의 수행시간은 10배 이상 차이가 난다. vVERTIGO는 직관적인 UI/UX로 인물 인식 AI 엔진으로 자동으로 추출한 키프레임을 빠른 속도로 검수하고, 필요한 경우 수동으로 키프레임을 추가/삭제 할 수 있어 매우 빠른 속도로 리프레이밍 작업을 할 수 있다.
1
vVERTIGO의 제품군
vVERTIGO는 KBS 사내 프로그램 제작용뿐만 아니라 외부 판매도 가능하도록 상용화 제품으로 개발되었다. KBS 미디어기술연구소는 (주)KBS미디어와 함께 vVERTIGO의 UI/UX를 개선하고 보안 및 업데이트 기능을 추가하여 3.0버전부터는 상용화 버전으로 개발하여 출시하였다.
vVERTIGO의 상용화 버전은 vVERTIGO SE(Standard Edition), vVERTIGO EE(Enterpise Edition), 그리고 올해 개발 중인 vVERTIGO Live로 총 3가지 버전으로 나뉜다.
vVERTIGO SE(Standard Edition)는 단독 라이선스 사용 버전으로 개인이나 1인 크리에이터, 1~5명의 소규모 사용자 및 네트워크 연결이 제한된 곳에서 사용하기 적합한 버전이다. 고성능 GPU가 장착된 1대의 PC에서 구동이 가능하며 해당 PC 1대의 자원 활용하여 AI 엔진 및 고속 렌더링 모듈을 사용할 수 있다.
vVERTIGO EE(Enterprise Edition)는 클라우드 형태의 라이선스 버전으로 10명 이상의 팀 단위 규모에서 사용하기 적합하다. Multi-GPU가 장착된 하나의 vVERTIGO 서버에서 AI 엔진 및 렌더링 작업이 이루어지며, 일반 사용자는 고성능의 GPU가 없는 일반적인 성능의 PC로도 vVERTIGO 서버에 접속하여 모든 기능을 사용할 수 있다. 여러 명의 사용자가 동시에 사용하고 작업을 서로 공유가 가능하다.
vVERTIGO Live는 vVERTIGO의 실시간 라이브 솔루션으로 현재 KBS 미디어기술연구소에서 개발을 진행 중인 버전이다. SE 버전과 EE 버전은 완성된 파일을 기반으로 후반 처리 형식으로 작업하는 것과 달리 Live 버전은 실시간 방송신호에서 인물을 인식하여 Real-time으로 인물별 영상을 리프레임할 수 있는 솔루션이다. vVERTIGO Live는 스튜디오 제작환경에서의 패널 리액션, 뉴스, 토론 프로그램 등의 제작에서 유용하게 사용될 수 있다.
1
vVERTIGO LIVE
vVERTIGO의 실시간 버전에 대한 수요는 현업 제작자들로부터 꾸준히 있었다. 카메라맨이 직접 촬영하는 것과 같은 실시간 영상 입출력이 가능해진다면 vVERTIGO를 적용할 수 있는 프로그램이 매우 다양해지기 때문이다. KBS 미디어기술연구소에서는 이러한 요구를 반영하여 지난해 vVERTIGO의 실시간 버전인 Live 버전에 대한 프로토타입 개발을 마쳤다. 프로토타입 개발 결과를 토대로 올해 실제 방송에 적용할 수 있는 수준의 Live 버전 시스템을 개발 중이다.
Live 버전에서는 AI 엔진의 인식 속도가 중요하기 때문에 기존 SE/EE 버전에서 사용하던 인물 인식 AI 엔진을 실시간 버전에 맞게 개량했다. 빠르게 인물을 인식하고 강인하게 인물을 추적할 수 있으며, 움직임의 정도에 따라 추적 민감도가 달라져 실제 카메라맨이 구도를 잡는 것과 유사한 카메라 모션을 구현하였다.
최대 8K 화질의 영상까지 실시간으로 인식할 수 있으며 고해상도 카메라 한 대로 HD 카메라 4대까지 대체 가능하다. 또한 방송용 SDI 인터페이스를 지원해 기존 방송시스템과 안정적으로 연동할 수 있다. vVERTIGO Live는 무인 스튜디오나 1인 스튜디오 환경에서도 방송제작이 가능하도록 하며, 일반적인 제작환경에서도 좁은 스튜디오에 출연자별로 카메라를 배치해야 하는 어려움을 해소할 수 있다. vVERTIGO Live는 스튜디오 제작환경에서의 패널 리액션이나 뉴스, 토론 프로그램 등 수많은 프로그램에서 적용될 수 있는 솔루션이다.
1
vVERTIGO는 어떻게 적용되었나
vVERTIGO의 아이디어는 KBS 미디어기술연구소의 연구원들끼리 모여서 시작한 자율연구회에서 시작하였으며, 미디어창의기술전이라는 사내공모전에 출품하여 대상을 수상하면서 본격적인 개발이 시작되었다. 처음 프로토타입 개발 이후로 많은 기능이 개선되면서 여러 프로그램에 시범 적용을 거치고 본방송 제작에도 사용되게 되었다.
대표적으로는 2019년 여름부터 3년 동안 <뮤직뱅크>의 직캠 제작에 사용되고 있으며, 지난 2021년 5월부터 촬영된 <신상출시 편스토랑>의 멀티 앵글제작, 2022년 방송된 <아기싱어> 직캠 제작, 2022년 현재 <누가누가 잘하나> 리액션 앵글 제작에도 적용되고 있다.
또한 <KBS 연말 가요대축제>, <Stage W>, 지역 축제 방송 직캠 제작 등 크고 작은 음악프로그램의 직캠 제작에 적용되었으며 <사장님귀는 당나귀귀>, <이웃집 찰스>, <자본주의학교>, <역사저널 그날>, <살림남> 등의 패널 리액션 제작에도 시범 적용되어 적용 분야를 넓혀 나가고 있다.
vVERTIGO는 KBS 사내 프로그램 제작뿐만 아니라 외부 서비스에도 적용되었다. WAVVE에서 운용하는 SKT 5GX 멀티뷰 서비스관에 뮤직뱅크 멤버별 콘텐츠를 납품하고, LG유플러스와 vVERTIGO 기술 관련 MOU를 체결하고 라이선스 판매 후 ‘아이돌라이브’ 서비스의 멀티뷰 제작 도구로도 사용하였다.
1
KOBA 2022에 전시된 vVERTIGO
지난 KOBA 2022 전시에 설치된 KBS 부스에서 vVERTIGO는 가장 큰 규모로 전시를 진행했다. vVERTIGO의 3가지 제품군인 vVERTIGO SE, EE, Live 총 3가지 버전을 전시하여 행사 기간에 방문객들의 많은 관심을 받았다.
vVERTIGO Live 버전은 실제 <신상출시 편스토랑>의 녹화 세트장을 그대로 재현하여 패널들이 앉는 자리에 방문객들이 앉을 수 있도록 했다. 세트에는 <편스토랑>에 출연하는 출연 패널들의 실제 크기 영상을 재생하여 방문객들이 패널들과 함께 앉아있는 듯이 꾸미고 vVERTIGO Live 시스템으로 실시간으로 인물별 영상을 리프레이밍 하여 분리해냈다. 분리한 인물별 영상은 <편스토랑> 방송 영상의 리액션 영상으로 합성하여 실제 방송 화면에서 어떻게 사용될 수 있는지를 보여주었다. vVERTIGO Live용 촬영 카메라는 Canon에서 지원한 EOS R5C 8K 카메라를 사용했다.
vVERTIGO SE/EE 버전은 현재 업그레이드 개발 중인 4.0 버전을 공개했다. 전작인 vVERTIGO 3.0 버전에 비해 Multi-GPU를 활용한 AI 엔진분석과 렌더링을 지원하여 훨씬 작업속도가 빨라진 모습을 보여주었다. 또한 4.0 버전은 영상의 앞뒤 intro, outro를 삽입하고 로고와 이미지 오버레이 삽입 및 색보정도 가능한 NLE의 기능을 갖추었다. 동시에 현재 <뮤직뱅크>에서 제작 중인 8K 직캠 영상을 8K TV와 세로형 모니터에 전시하여 큰 호응을 얻었다. 현재 인기 있는 유명 아이돌의 8K 직캠을 8K OLED 디스플레이에서 생생하게 재생하여 관람객들의 반응이 뜨거웠다. KBS Kpop 유튜브 페이지에서 아이돌 직캠이 서비스되고 있는 모습도 공개하여 vVERTIGO의 실제 적용 분야를 관람객들에게 전달했다. 8K 직캠을 재생하는 데에는 LG전자에서 지원한 LG Signiture OLED 8K TV를 사용했다.
KOBA 2022에서 소개된 vVERTIGO에 대한 자세한 소개와 데모 영상은 vVERTIGO 홈페이지(www.vertigo.com, www.vvertigo.com)에서 확인할 수 있다.
