제52회 한국방송대상 개인상 방송기술 부문
최성우 KBS 미디어연구소 AX팀 수석연구원
국내 최초로 인공지능을 기반으로 한 직캠제작 소프트웨어를 기획하고
개발해 방송 콘텐츠 제작의 품질 향상과 미래 모델을 제시
1
제52회 한국방송대상 방송기술상 수상 소감
먼저 너무 큰 상을 받게 도와주신 저희 KBS 미디어연구소의 팀장, 부장, 소장님과 AX팀원분들게 감사의 말씀을 드립니다. 방송대상을 받게 되었던 공적이 저 혼자만의 일이 아니라 같이 일했던 팀원들의 노고에 제가 대표로 수상을 하게 되었음을 잘 알고 있습니다. 또한 시상식에서 수상을 하는 기회를 만들어주신 방송협회 관계자분들께도 감사의 말씀을 드립니다. 덕분에 가족들과 함께 잊지 못할 경험을 하고 왔습니다. 그동안의 연구와 작업들이 인정을 받은 것 같아 개인적으로도 의미가 큰 수상이었습니다.
VVERTIGO(버티고) 시스템 소개
VVERTIGO는 인물 인식 AI 기술을 활용하여 8K 이상의 초고해상도 영상에서 자동으로 인물을 추적하고, 인물별 리프레임(Reframe) 영상을 제작할 수 있는 KBS 미디어기술연구소가 독자적으로 개발한 멀티뷰 영상 편집 솔루션입니다.
VVERTIGO의 시작은 음악방송의 세로 직캠을 보다 효율적으로 제작하기 위한 고민에서 시작되었습니다. 여러 명의 멤버로 구성된 K-POP 아이돌 그룹의 직캠을 촬영하기 위해서는 기본적으로 멤버 1명당 1대의 카메라가 필요한데, 최근 아이돌 그룹은 적게는 4~5명에서 많게는 10명 이상의 멤버들이 있으므로 안정적으로 모든 멤버의 직캠을 촬영하기 위해서는 너무 많은 카메라, 카메라맨과 스튜디오 공간이 필요했습니다. 따라서 저희는 초고해상도 카메라로 가장 좋은 위치에서 전체 멤버의 풀캠을 촬영하고, 인물 인식 AI 기술과 편리한 편집 UI로 멤버별 영상을 잘라내어 사용하는 방식을 고안했습니다.
VVERTIGO를 적용한 가장 대표적인 사례는 음악방송 <뮤직뱅크>의 아이돌 및 가수 직캠 제작입니다. KBS Kpop 유튜브 페이지에는 매주 <뮤직뱅크>에 출연한 가수들의 멤버별 직캠이 업로드되어 서비스되고 있는데, 지난 2019년 여름에 적용되어 지금까지 서비스되고 있는 <뮤직뱅크>의 모든 직캠 영상은 VVERTIGO를 이용하여 제작되었습니다. 최근에는 <신상출시 편스토랑>, <누가누가 잘하나> 등 관찰 포맷 프로그램에서 멤버별 리액션 영상 제작에도 사용했으며 점차 적용 범위를 넓혀가고 있습니다.
1
VVERTIGO가 작년 NHK <홍백가합전> 직캠 제작 당시 NHK 엔지니어분들과의 협업에 대해
저는 VVERTIGO 솔루션을 개발하는 개발자 포지션이기 때문에 실제 NHK에 가서 엔지니어분들의 평가를 직접 듣지는 못했습니다. 하지만 제작에 참여한 저희 팀장님과 KBS 미디어 직원분들에게 현장의 제작분위기를 전해 들을 수 있었습니다. 결론적으로는 <홍백가합전> 방송 동안 문제없이 사전 협의된 출연진들의 직캠 수십 개가 모두 잘 만들어지고 방송 직후에 NHK Music 유튜브에 업로드되어 많은 조회수를 기록했습니다. NHK 제작진들에게도 물론 좋은 반응을 얻얻고요. NHK와는 지속해서 교류를 이어온 덕분에 어색함 없이 자연스럽게 협업을 진행했습니다. 그동안 NHK <홍백가합전> 담당 제작진이 KBS 연구소에 방문하기도 하고, 저희가 NHK 출장 때 직접 VVERTIGO를 시연하고 NHK에서 촬영한 영상 원본으로 테스트도 미리 진행했기에 성능에 대한 검증은 이미 끝나있는 상황이었습니다. 또한 <홍백가합전> 이전에 NHK <뮤직엑스포 2024>라는 규모 있는 음악방송에서도 이미 한 번 적용해 본 상태였습니다.
이번 <홍백가합전>에서 적용된 특이사항이 있다면 VVERTIGO의 Mac 버전을 성공적으로 테스트한 점이었습니다. 기존 VVERTIGO는 NVIDIA GPU가 탑재된 윈도우 시스템에서만 동작하여 출장 시 휴대해야 하는 장비의 크기와 부피가 매우 큰 편이었습니다. 하지만 Apple Silicon을 지원하는 Mac 버전을 출시하면서 NHK에는 조그만 Mac Studio M1 3대만으로 제작해 시스템 구성을 매우 간소화할 수 있었습니다. 또한 제작 인원 3명 중 한 명만 KBS 관련 직원이고 나머지 2명은 NHK에서 당일 지원해 준 인력이었지만, 간단한 교육 후에 무리 없이 직캠 제작에 바로 투입을 할 수가 있었습니다.
촬영에 사용한 8K 카메라는 NHK에서 지원해주었으며 당시 출연한 LE SSERAFIM, ILLIT, TXT 등 K-POP 유명 그룹들과 ME:I, Mrs. GREEN APPLE 등 일본의 유명 가수들의 개인 직캠을 제작해 모두 유튜브 쇼츠로 공개했습니다. 조회수가 가장 높았던 영상은 Mrs. GREEN APPLE이었던 걸로 기억하네요.
및 AX팀 제작 참여 모습
1
VVERTIGO의 교육 과정이나 KBS 외에서 사용 중인 추가 사례
KBS 미디어연구소 AX팀(이윤재 팀장)은 VVERTIGO의 AI 기술에 사용된 뮤직뱅크 데이터셋과 AI 모델 및 관련 기술을 이용해 교육사업도 진행해 왔습니다. 서울시립대학교와 협력하여 대학생 및 대학원생 멘토링 과정을 진행해 실제로 AI 모델 데이터를 준비하고 학습한 후, VVERTIGO에 적용해 보는 등의 과정을 커리큘럼을 통해 습득하였습니다. 또한 해당 멘토링에서 연구한 내용을 한국방송공학회 학술대회와 저널에 논문으로 제출하고 발표하는 등의 성과를 내었으며, KOBA의 KBS 부스 내에 서울시립대학교 섹션을 만들어 전시하는 기회까지 제공했습니다. 해당 학부생들은 취업이나 진학 등에 커리큘럼에서 얻은 포트폴리오를 유용하게 이용했고요. 시립대뿐만 아니라 콘텐츠진흥원에서 지원하는 뉴콘텐츠아카데미(NCA)에도 VVERTIGO와 생성형 AI를 이용한 교육과정을 설립하여 상명대학교 학생들과 멘토링을 진행했습니다. 12주간의 과정 후에 열심히 한 학생들이 NCA 교육과정 최우수팀으로 선정되는 쾌거를 얻기도 했습니다. 학생 중 일부는 교육과정 후에 방송국에 관심이 생겨 뮤직뱅크 직캠 제작팀에서 일하고 있기도 합니다. 여러모로 의미가 있었던 교육사업이었네요.
또한 숭실대학교 ITRC와 구로구와 협력해 구로구민 대상으로 AI 프로덕션에 대한 강의도 직행했었고, 올해에는 RAPA의 지원을 받아 지역방송 AI 제작역량강화 커리큘럼을 개설하여 KBS의 촬영감독, 후반제작 기술감독, 연구원들이 함께 촬영 및 보정부터 AI 툴을 이용한 프로덕션까지의 전반적인 프로세스를 배울 수 있는 교육과정을 만들어 KBS 전국 총국을 돌면서 강의를 진행했습니다. 지역에서도 AI 제작 기술에 관련 역량을 강화할 수 있었던 좋은 교육 프로그램이었습니다.
VVERTIGO는 Canon 코리아와 협력하여 현재 상용화 버전으로 출시되었으며, Canon 홈페이지에서 무료 체험판 버전을 사용해 볼 수 있습니다. 물론 그 이후에도 많은 업데이트가 이루어지고 있고요, VVERTIGO는 KBS 사내와 NHK 케이스뿐만 아니라 Canon, Astrodesign과 같은 카메라 제조사나 일본 KDDI 등 통신사 등에서도 시험 사용 및 도입을 검토 중입니다.
1
5. VVERTIGO PTZ 버전의 개발 상황과 PTZ 자체의 AI 기능과 다른 점
먼저 개발된 VVERTIGO는 파일로 저장된 영상을 편집하는 후반제작형 솔루션입니다. 그래서 피사체를 실시간으로 트래킹해서 촬영하는 것에 대한 수요가 꾸준히 있어 PTZ 카메라를 AI로 실시간으로 제어하는 VVERTIGO PTZ 버전을 올해부터 개발하고 있습니다.
PTZ 카메라로 인물을 트래킹하는 기능은 이미 카메라 제조사들이 활발하게 개발하여 제공하고 있는 기능입니다. 제조사에서 직접 하드웨어와 연동하여 인물을 따라가는 것이 훨씬 카메라에 최적화되어 좋은 성능을 낼 수가 있죠. 그러나 저희 팀에서 개발하고 있는 AI PTZ 기능은 카메라 제조사가 제공하는 기능과는 차이가 있습니다.
일반적인 PTZ 트래킹 기능은 피사체의 얼굴의 특징과 위치를 기준으로 리드룸(Leadroom)을 생성하고 트래킹합니다. 현재 얼굴 트래킹 기술이 매우 발전하여 선택한 얼굴을 놓치지 않고 강하게 따라가는데 특화되어있지만, 이 자동 PTZ 기능을 실제 방송제작에 사용하기는 아직 어렵습니다.
카메라 감독이 예능 출연자의 리액션캠을 촬영하는 상황을 예로 들어보겠습니다. 카메라 감독은 출연자의 바스트샷을 잡고 카메라 감독이 판단하는 가장 최적의 앵글에 출연자가 들어오도록 촬영합니다. 여기에서 출연자가 어떤 조그만 움직임이 있더라도 카메라 앵글을 바로 변경하지 않고, 출연자가 앵글의 좋은 그림을 벗어날 때 카메라를 움직입니다. 출연자가 왼쪽을 바라볼 때는 왼쪽에 리드룸을 많이 두고, 오른쪽을 바라보면 오른쪽에 여유 공간을 좀 더 두는 등 출연자의 행동에 따라 카메라 감독의 판단을 통해 최적의 앵글을 유지해가면서 촬영합니다. 물론 PTZ 카메라의 AI 트래킹 기능에도 리드룸을 설정하는 기능이 있지만 얼굴의 위치에 대한 상대적인 공간을 확보하는 방식이라 카메라 감독이 연출하는 앵글과는 거리가 멀고, 얼굴이 흔들리는 모션에 따라서 카메라 앵글도 민감하게 흔들려 이 영상을 실제로 방송에서 사용하기는 어렵습니다.
저희 팀에서 개발 중인 AI PTZ 제어모델은 전문 카메라 감독이 촬영한 영상의 앵글을 학습한 모델입니다. 기본적으로 피사체를 중심에 두지만, 인물의 움직임에 따라 여유 공간을 두고 작은 움직임에는 반응하지 않다가 큰 움직임에는 반응해서 다시 앵글을 고쳐잡는 등 카메라 감독의 앵글 연출과 최대한 유사하게 촬영하도록 하는 것이 모델의 핵심입니다. 인물은 한 명일수도 있고, 두 명 이상의 앵글을 잡을 수도 있습니다. 이때에도 카메라 감독이 판단하기에 가장 최적이라고 생각한 앵글을 AI PTZ 모델이 학습하는 거죠. 이를 구현하기 위해서는 막대한 양의 카메라 감독들이 촬영하는 데이터셋이 필요한데, KBS의 아카이브에는 이러한 영상들이 많이 저장되어 있고 앞으로 촬영할 때도 많은 로우데이터를 그대로 확보할 수 있습니다. 이 데이터를 이용해서 학습한다는 점이 타 장비업체의 AI PTZ 제어모델과의 차이점이라고 할 수가 있겠네요.
VVERTIGO 시스템의 최종 목표
VVERTIGO의 최종 목표는 AI를 이용한 생산성의 향상과 창의적 반복(Creative Iteration)의 경감입니다. 많은 분이 AI 트래킹을 이용해서 영상을 촬영한다고 했을 때 “카메라맨의 일자리를 잃어버리게 하는 것이 아니냐”라고 하십니다. 그러나 VVERTIGO가 대체하고자 하는 영역은 카메라 감독이 수행하는 작업 중 가장 반복적이고 창의적이지 않으면서 에너지가 많이 소모되는 부분입니다.
녹화 스케줄이 있는 날, 카메라맨은 담당한 출연자의 앵글을 잡기 위해 몇 시간씩 거의 비슷한 앵글을 지켜보며 촬영합니다. 출연자의 움직임이 많은 경우는 인력을 투입하는 것이 맞지만 제자리에 앉아서 많은 움직임이 없는데 긴 시간의 촬영이 요구되는 경우 등은 AI에 촬영을 맡기고, 카메라 감독은 좀 더 창의적인 앵글의 화면을 만들어내는 것이 유리합니다. 개인 직캠 촬영도 아이돌 멤버 수만큼 카메라와 카메라맨을 놓고 촬영하면 당연히 더 많은 영상을 얻을 수 있지만, VVERTIGO와 같은 방식으로 세로 직캠을 촬영하고 거기서 절약한 인력으로 아이돌의 다른 창의적인 앵글에서 촬영한 영상을 추가로 만드는 게 낫습니다. 결국 AI를 통해 절약한 인력을 더 다양하고 창의적인 콘텐츠 제작에 투자할 수 있는 것입니다.
VVERTIGO와 AI는 이렇게 기존 제작 인력의 작업을 대체하는 것이 아니라 그분들이 작업을 훨씬 효율적으로 할 수 있도록 보조해주는 제작 도구로서 기능을 하는 데 초점을 맞추고 있습니다.
1
2024 파리올림픽과 2025 하얼빈동계아시안게임에서도 개발되었던 AI 보조도구 소개
2025년 하얼빈 동계아시안게임에 적용한 것은 KBS의 컬링 중계 해설을 보조하기 위한 ‘컬링 노트’ 앱입니다. 이 앱은 스포츠국의 요청으로 iPad용 앱으로 개발했고 컬링 중계 시에 컬링 스톤의 위치를 보기 쉽게 나열하고 경로를 그리면서 해설을 보조하는 용도이지만, AI가 적용된 것은 아닙니다.
2024년 파리올림픽에서 수영과 펜싱 종목의 해설을 돕기 위해 개발한 시스템은 AI를 이용한 보조도구가 맞습니다. 이 시스템은 저희 연구소의 유능한 막내인 김남호 연구원과 함께 개발했고, 올림픽 국제신호 영상을 AI 모델이 실시간으로 인식하여 장면별로 분류하고, 해설에 필요한 CG 그래픽을 합성해 줍니다.
수영 경기에서는 수영장 레인이 등장하는 장면을 AI 모델이 인식하고, 해당 장면에서 수영장 레인의 경계를 인식해주면, 그 위에 어떤 선수가 한국 선수인지를 표시해주기 위해 태극기를 합성하는 데 사용했습니다. 인식된 레인 위에 태극기가 놓일 위치를 선택해주면 수영장 레인의 모양에 맞게 태극기 그래픽이 변형되어 올라가고, AI가 장면이 전환될 때를 인식해서 자동으로 CG 그래픽을 아웃해줍니다. 경기의 흐름이 워낙 빠르기 때문에 이는 사람이 장면을 인식해서 그래픽을 올렸다가 뺄 수가 없는데 AI는 프레임 단위로 장면을 인식하기 때문에 빠르게 CG를 넣을 수 있는 장면을 인식해서 오퍼레이터에게 알려주고, 장면이 전환될 때 즉각적으로 그래픽을 빼 줄 수가 있습니다.
펜싱 경기에서는 국제신호로 들어오는 화면 중간 하단의 득점 신호 시그널을 인식하고, 득점 신호를 시청자들이 보기 편하도록 크게 확장하여 그래픽을 In하고 자동으로 Out 하는데 사용되었습니다. 국제신호 규격은 작은 동그라미로 표시되어있어 눈에 잘 띄지 않는데 이를 AI가 화면을 실시간으로 보면서 신호의 모양과 색상을 감지하고 같은 색상의 그래픽을 국제신호보다 큰 그래픽으로 확장해주면서 국제신호가 빠지는 타이밍에 같이 빼주는 것이 이 AI의 목표였습니다.
두 AI 모델은 기존의 아시안게임이나 올림픽 경기 영상로부터 수십만 장 이상 데이터를 샘플링하고 가공한 후에 학습되었으며, 올림픽 경기 기간에 오류 없이 생방송에 실제로 잘 적용되었습니다.
1
AI 관련 다양한 개발 업무를 하시며 느끼는 어려움
AI 관련 개발 업무에서 가장 어려운 두 가지를 꼽으라면 하루가 다르게 새로운 모델들이 쏟아지는 변화가 너무 큰 개발 환경과 우리 회사만의 데이터셋과 GPU 장비의 확보입니다. AI 쪽으로 워낙 많은 투자가 이루어지고 모든 연구자들이 AI를 연구하다 보니 AI 모델의 변화가 심하면 며칠 단위로도 바뀝니다. 제가 지금 적용하고 있는 모델이 몇 주, 몇 달이 지나면 구형 AI가 되고 더 성능이 좋은 새로운 AI 모델이 등장하곤 하는 것이지요. 이렇다 보니 지금 적용 중인 모델로 개발하고 나서 금세 또 따른 AI 모델을 사용해야 하는 경우가 빈번합니다. 최근에는 이런 것도 쉽게 이식할 많은 기법이 적용되고 있지만 역시나 변화를 따라가는 것이 가장 어렵습니다.
그리고 AI 모델을 개발할 때 경쟁력 확보에서 가장 중요한 것은 얼마나 많은 양질의 우리만의 데이터셋을 확보하느냐는 것인데, 데이터셋의 규모가 워낙 방대하고 AI가 학습할 수 있도록 가공하는 작업에 시간과 예산이 너무 많이 소요되어 아이디어가 있어도 테스트를 해보기조차 어렵습니다. 심지어 실제로 잘 동작하는 AI를 구현하려면 더욱 많은 양질의 데이터셋이 필요하게 되지요. 방송사는 기술에 많은 투자가 이루어지는 편은 아니기에 이런 양질의 대규모 데이터셋을 구축하기가 매우 어렵습니다. 그리고 데이터셋이 있더라도 이를 학습하기 위한 대규모 GPU 센터도 부족한 형편입니다. 최근에는 AI가 미래의 성장 동력원으로 자리 잡고 있는 만큼 여기에 많은 투자도 이루어졌으면 합니다.
1
추가로 개발하거나 개선을 염두에 두는 제작 업무
VVERTIGO AI PTZ의 개발을 시작한 지 얼마 되지 않아서 현재는 이 시스템을 완성도 있게 만드는 데 치중하고 싶네요. 하나의 시스템을 개발해도 높은 완성도로 실제 방송 제작환경에서 사용할 수 있도록 하는 것이 목표이기에 역량을 분산하고 싶지는 않습니다. 특히 실시간 인식 관련 AI 모델 개발이 어려운 분야이기에 아직 완전한 성공을 장담하기 어렵습니다. 하지만 AI 관련 분야가 워낙 따라갈 수 없을 정도로 빠르게 발전하고 있어 조금만 더 시간이 지나면 지금은 할 수 없는 많은 일들을 AI로 대체해 볼 수 있을 거라고 확신합니다.
1
마지막 한마디
AI 발전 덕분에 일하는 방식이 완전히 변하고 있습니다. 불과 1~2년 전만 해도 테스트로 써보던 AI 작업 도구들이 이제는 없으면 업무를 진행하기 어려울 정도로 발전해서 업무로 다가와 있습니다. 빠르게 변하는 트렌드를 읽고 우리의 실무에 도움이 되는 기술을 개발하는 연구원이 되겠습니다.
