나는 이런 일을 합니다
유 성 SBS 미디어기술연구소 부장
어느덧 우리는 AI(인공지능)를 활용한 다양한 기술을 손쉽게 사용하는 시대가 되었다. ChatGPT의 등장은 AI에 대한 관심을 폭발적으로 불러일으키는 원동력이 되었으며, LLM(Large Language Model), Generative AI 등의 기술을 이용하여 더욱 개선되고 있다. 이러한 상황에서 미디어 그리고 방송에서도 AI를 콘텐츠 기획과 제작, 관리, 유통에 활용하고 있으며, SBS는 그 어느 방송사보다 적극적으로 이를 개발하고, 다양한 방송현장에서 시험하며, 적용해 오고 있다. SBS의 AI 개발을 주관하는 미디어기술연구소는 최신 기술과 필요성에 기반하여 미디어 제작과 관리에 적용 가능한 AI 기술을 개발하고 있으며, 작년에는 AI TF를 신설했다. AI TF를 이끌고 있는 유성 부장을 만나 SBS의 AI의 현황과 미래에 대해 물어보았다.
자기소개
안녕하세요, SBS 미디어기술연구소의 유성입니다. 2003년 경력공채로 SBS에 입사해서 SBS 선거방송 그래픽 시스템 VIPON(Voting Information Processing Online Network) 개발과 실시간 워터마크 송출시스템 개발 등을 수행했고, SBS 디지털 유통 인프라 OPS(Online Publishing System) 총괄 PM, SBS 디지털 채널 성장 지원 인프라 SAM(Sns Asset Management system) 총괄 PM을 거쳐 최근에는 팀 내 AI TF 총괄을 맡고 있습니다.
SBS 미디어기술연구소의 AI TF와 본인의 업무 소개
SBS 미디어기술연구소는 2023년 말부터 약 10명 정도로 구성된 AI TF를 구성하여 AI 연구 개발을 본격적으로 수행하고 있습니다. 아직은 비공식 조직으로 운영 중이지만, 필요에 따라 타 부서나 자회사 등으로 범위를 확대하고 공식 TF로 전환할 수도 있습니다.
AI TF는 3개 분과 형태로 운영 중인데, 1분과는 영상을 이해하는 초거대 모델을 연구 개발하여 촬영본, 아카이브 콘텐츠에 적용하고 다양한 문제들을 해결하는 업무를 담당하고 있습니다. 2분과는 디지털 콘텐츠 제작, 유통 과정에 초거대 AI 기술을 적용하고, 이를 현업에서 바로 사용할 수 있는 플랫폼으로 진화시키는 업무를 담당하고 있습니다. 3분과는 내부 인프라로 구현된 AI 서비스들을 그룹사나 외부에서도 활용할 수 있도록 확장하는 업무를 담당하고 있습니다.
저는 주로 최신 AI 모델을 연구하고 이를 토대로 과제 기획과 시스템 설계 등을 진행하고 있습니다. 예를 들어, 작년까지 진행되었던 시각, 음성, 언어 관련 AI 프로젝트들의 방향성을 올해부터는 대부분 범용적 파운데이션 모델과 멀티모달 모델 기반으로 전환하고, 이를 통해 해결할 수 있는 Task들을 선별하여 과제화하는 업무를 수행하고 있습니다. 1년만 지나도 올드함이 느껴질 정도로 너무나 빠르게 변화하고 있는 AI 분야이기에 계속해서 발표되고 있는 다양한 아키텍처의 최신 논문들을 분석하며 흐름을 따라가려고 노력 중입니다.
SBS의 AI 기술 개발 현황
SBS 미디어기술연구소에서는 AI 통합플랫폼이라는 내부 시스템을 통해 다양한 미디어 AI 기술들을 자체 개발해 왔습니다. 그중에서도 미디어 분야에서 가장 수요가 많은 AI 기술인 ‘인물 인식’에 대해 수년간 시행착오를 거쳐 독창적 방식으로 개발을 완료했습니다. 자체 개발된 인물 검색 서비스는 이미 사내 아카이브 시스템, 뉴스 디지털 시스템, 촬영본 편집기 등의 제작 인프라에 적용되었고, 유통/통계 시스템 등에도 적용되어 활발하게 사용되고 있습니다.
그다음으로 많은 수요가 있는 AI 기술인 음성 인식(STT)은 아카이브 자막 자산화 시스템, 유튜브 뉴스 클립 자막 동기화시스템, 촬영본 편집기 대사 검색 시스템 등에 적용되어 활발하게 사용되고 있습니다.
또한, 자연어처리(NLP) 기술도 매우 독특한 분류/검색 서비스 등으로 구현되어 디지털 콘텐츠 제작 등에 활용될 예정입니다. 그 밖에도 행동 인식, 문자 인식, 문맥 번역 등의 다양한 AI 기술들을 연구 개발하고 있으며, 영상 자막 번역용 MTPE(Machine Translation Post Editing) 시스템 등으로 연계하여 활용하고 있습니다.
실제 제작에 SBS의 AI 기술이 사용된 사례
사내 인프라를 통해 방송 프로그램 제작에 간접적으로 활용된 사례를 제외하고, AI 기술을 주제로 해서 방송 프로그램 제작에 직접적으로 활용된 사례도 있긴 합니다. 예를 들어, 2022년 말에는 AI 통합플랫폼 1.0의 결과물을 기반으로 <2022 연예대상>에서 인물별 출연시간을 분석하여 ’아들딸 상‘ 콘텐츠가 제작 및 방송되었고, 2023년 말에는 AI 통합플랫폼 2.0의 결과물을 기반으로 <2023 연예대상>에서 인물별 글로벌 유튜브 조회수를 분석하여 ‘숏클립최다뷰 상’ 콘텐츠가 제작 및 방송되었습니다. 또한, 최근 개발 완료된 인물&대사 검색 서비스를 활용한 방송 콘텐츠도 제작되어 조만간 방송될 예정입니다.
개발된 AI 기술의 변화와 체감
방송 콘텐츠 기획, 제작, 유통 단계에서 활용할 수 있는 다양한 AI 서비스를 개발해 왔고, 이 중 일부는 제작진들로부터 상당한 호응을 얻고 있습니다. 그러나, 본격적인 AI 기반 디지털 전환 단계는 아직 아니므로 현업에서의 변화와 체감은 이제 시작되고 있다고 얘기하는 게 적당할 듯합니다.
진행 중인 AI 프로젝트
올해는 AI TF를 통해 수행할 수 있는 규모로 다양한 신규 과제들을 발굴해서 진행하고 있습니다. 현재는 과제별로 현업 부서와의 인터뷰를 진행하면서 워크플로우를 구체화하고 시나리오를 검증하는 단계를 거쳐 시스템 개발을 위한 연구 및 조사를 진행하고 있습니다.
예를 들어, 촬영본에서 스톡 콘텐츠를 자동으로 추출하여 자산화해 주는 시스템 개발을 위해 당위성을 도출하고 시나리오를 검증한 후, 이를 구현하기 위해 카테고리 분류 체계 연구, 모델 최적화 방안 연구, 학습데이터 구축 방안 연구 등을 진행하고 있습니다.
또한, 30년분의 아카이브 콘텐츠에서 다양한 상황들을 찾을 수 있는 검색시스템을 개발하기 위해 최신 모델들을 연구하고 테스트하며 새로운 검색 방법론 등을 연구하고 있습니다. 그리고 유튜브와 같은 디지털 클립 제작, 유통 환경에서도 AI 기술을 적용한 워크플로우 효율화를 추진하고 있습니다.
예를 들어, 특정 분야별로 세분화된 통계 데이터 확보를 위한 ‘지능형 통계 시스템 고도화 개발’, 채널 운영 환경 개선 및 무인화 워크플로우 개발을 위한 ‘AI 리메이크 채널 플랫폼 고도화 개발’, ‘LLM 기반 디지털 뉴스 제작 효율화 플랫폼 개발’ 등을 진행하고 있습니다. 이러한 다양한 AI 기술들의 적용 범위를 그룹사 및 외부로 확대하기 위한 전사적 규모의 프로젝트도 진행하고 있습니다.
AI 트렌드를 위해 참고하는 내용
워낙 AI 분야가 다양하고, 쏟아지고 있는 정보의 양도 엄청나기 때문에 대부분의 잘 몰랐던 최신 내용은 AI 관련 뉴스 기사를 통해 접하게 되는 것 같습니다. 그중에서 특별히 업무에 필요하거나 관심이 있는 분야라면 우선 검색을 통해 간단한 흐름 정도만 파악하고, 과거로부터 발표되어 왔던 주요 논문들을 따라가면서 좀 더 상세한 내용을 파악했던 것 같습니다. 특히, 대부분의 최신 AI 기술들은 경쟁적으로 빅테크들이 논문으로 발표해 왔기 때문에 화제가 되었던 주요 논문 위주로 트렌드를 파악했던 것 같습니다. 그런데 최근 들어 OpenAI나 구글 등의 빅테크들에서 점점 새로운 모델에 대한 상세한 기술 공개를 꺼리는 분위기라서 아쉬운 점이 있긴 합니다.
주목하는 AI 기술
방송사에 근무하고 있고 다루어야 할 동영상 콘텐츠가 많기 때문에 더욱 그럴 수도 있겠지만, 개인적으로 가장 관심 있는 기술은 대표적 초거대 멀티모달 모델이라고 할 수 있는 ‘VLM(Vision Language Model)’입니다. 불과 2~3년 전까지도 컴퓨터 비전 분야에서는 복잡한 장면에 대한 이해나 추론이 불가능했습니다. 그러나 이제는 AI가 영상 속 객체 등을 인식하는 단순한 이해 수준을 넘어 영상 속 복잡한 상황이나 이상한 점들을 이해하여 대화할 수 있는 멀티모달 챗봇 형태로 진화하고 있습니다.
또한, 이러한 초거대 모델들의 성능을 향상해주는 최적화 기술들도 계속해서 발전하고 있어 주목하고 있습니다. ‘CoT(Chain of Thought)’와 같은 ‘Prompt Engineering’ 기법들도 계속해서 발전하고 있는 분야라고 할 수 있습니다. ‘PEFT(Parameter Efficient Fine-Tuning)’와 같은 파인튜닝 기술들도 계속해서 발전하고 있는 분야인데, 대화형 LLM(Large Language Model)을 통해 유명해진 ‘Instruction Tuning’은 이제 멀티모달로도 발전하고 있는 상황입니다.
업무에 있어서 보람과 자부심
2003년 입사해서 2012년까지는 선거 방송 그래픽 시스템을 주로 개발했었는데, 처음에는 방송 콘텐츠의 기획, 제작, 송출까지의 모든 과정이 신기하고 재미있었습니다. 물론, 강도 높은 반복된 업무가 지속되다 보니, 지치기도 하고 무력감이 찾아오던 때도 있었습니다. 그러다 보니 주어진 업무를 충실하게 수행하자는 목표보다는 점점 능동적으로 업무를 수행하면서 보람을 찾아보자는 목표가 생겼던 듯합니다. 나름 내공을 쌓으며 준비를 하고 있던 중, 2012년 총선과 대선 방송에서 드디어 기회가 찾아왔었습니다.
어차피 20년간 SBS의 선거 방송 시청률은 항상 3등(지상파 방송사 3곳 중)이었으니 최대한 도전적으로 해보자는 분위기에서 당시 장비로는 구현하기 어려웠던 신규 이펙트 패턴 등을 도전적으로 개발했고, ‘3D+예능’ 스타일의 다양한 실시간 그래픽을 완성했었습니다. 그 결과, 창사 이래 처음으로 ‘2049 시청률 1등’이라는 성과를 달성했고, ‘선거 방송의 명가 SBS’라고 불리기 시작했으며, 미국 등의 외신에서도 SBS 선거 방송에 대해 호평을 하는 등 나름 자부심을 느낄 수 있는 소중한 성공 경험을 했었습니다. 물론, 그러한 소중한 경험을 얻기 위해 선거일 2개월 전부터는 주 7일 근무에 순수 코딩 시간만 1일 15시간(주 105시간), 식사도 시계를 보면서 30분 이내로 해야 했던 매우 험난한(?) 과정도 있었습니다.
그 이후, 2014년까지 실시간 워터마크 송출시스템 개발을 통해 인생에서 다시 한번 소중한 경험을 하게 되었는데, 주조정실 스위처 출력 부분에 방송 장비가 아닌 ‘소프트웨어를 통한 24시간 365일 워터마크 삽입 및 SDI Bypass 기능’을 구현한 것입니다. 워크스테이션이 다운되거나 버그가 생기면 전 국민에게 블랙 화면이 나가게 되는 끔찍한 상황이 생길 수도 있는 정말 말도 안 되는 도전을 하게 된 건데, ‘문제 생기면 책임지겠다’라는 패기와 각오로 진행을 했던 것 같습니다. 이러한 과정들을 거치면서 자연스럽게 도전적 업무에 대한 두려움이 많이 없어졌고, 어떤 어려운 일도 해결할 수 있다는 자신감과 자부심을 갖게 된 듯합니다.
방송기술에서 AI의 활용으로 인한 변화
이미 모든 산업에서 AIX(AI Transformation)가 진행되고 있고, 방송사에서도 변화가 시작되고 있습니다. AI는 거대한 흐름이고 선택이 아닌 필수입니다. 미래 방송기술 직무와도 많은 관련이 있을 것으로 예상되니, 해외 사례들도 꾸준히 관심을 가지면 좋을 것 같습니다.
AI 기술이 방송 및 미디어에 미치는 영향
유튜브와 넷플릭스 등의 OTT로 대표되는 현재의 시청 환경 속에서 방송 워크플로우에도 많은 변화가 진행될 것으로 보입니다. 예를 들어, 콘텐츠 인기도를 확인하기 위해 TV 시청률 측정 대신 오디언스 세그먼트별(연령별, 국가별 등) 인기도 분석 등이 필요해질 것입니다. 그 결과물이 방송 콘텐츠 제작, 유통, 광고 등에 반영될 것이고 모든 과정에는 필수적으로 AI 기술이 활용될 것입니다.
나의 활력소
여름엔 수영, 겨울엔 스키 등 계절별로 여러 스포츠를 즐겼는데, 10여 년 전부터 골프를 시작하면서 다른 스포츠는 모두 그만두고 지금은 연습장, 스크린, 라운딩 등 사계절 모두 골프만 하고 있습니다.
인생에서 좌우명
‘사필귀정(事必歸正)’입니다. 힘들고 어려운 길이라도 올바른 일을 포기하지 않고 하다 보면 언젠가 모든 일이 올바르게 돌아올 것이라는 마음가짐으로 살아갑니다.
신입 방송기술인에게 하고 싶은 말
능동성을 강조하고 싶습니다. 수동적으로만 일하면 더 이상 성장할 수가 없습니다. 본인 스스로 다양한 경험을 쌓으며 성장할 수 있도록 많이 노력하시길 바랍니다.
