2019년 월간 방송과기술 7월호 수록
지난 5월호 트렌드 리포트에서는 BBC의 인공지능을 활용한 방송 제작환경 구축 사례를 소개해드렸습니다. 인공지능 방송 환경의 두 번째 사례로, 이번 호에서는 NHK 과학기술연구소의 연구 결과들을 살펴보고자 합니다.
1. 들어가며
NHK 과학기술연구소(Science & Technology Research Laboratories, STRL)는 일본의 방송기술을 이끌고 방송문화를 풍요롭게 하는 NHK 소속의 일본 방송기술 전문연구기관입니다. 연구영역은 크게 여섯 가지로 ▲ 8K Super Hi-Vision, ▲ 3D 이미지 기술, ▲ 미래 방송 서비스를 위한 인터넷 기술, ▲ 향상된 콘텐츠 생산을 위한 기술, ▲ 이용자 친화적인 방송기술, ▲ 차세대 방송 장비 연구 등을 수행하고 있습니다. 인공지능 기반 방송기술연구는 이 중 다섯 번째 ‘향상된 콘텐츠 생산을 위한 기술’에 포함됩니다. 지금부터는 IBC 2018에서 발표된 ‘AI-driven smart production’ 내용을 참고하여 NHK의 인공지능 기반의 방송기술 적용 사례를 살펴보겠습니다.
2. 인공지능을 활용한 방송기술 개발 사례
기록 매체의 용량이 증가함에 따라 방송국에서는 프로그램 제작을 위해 다량의 비디오 콘텐츠를 저장할 수 있게 되었습니다. 하지만 프로그램에 꼭 필요한 자료를 추출하고, 각종 데이터에서 뉴스에 내보낼 유용한 정보를 찾는 작업은 제작자에게는 큰 부담이 되었습니다. 한편 외국인 및 시·청각 장애인을 포함한 모든 시청자의 시청 환경에 맞추기 위해 콘텐츠 형식도 변환해야 합니다. 이러한 일련의 작업을 수행하기 위해 NHK 과학기술연구소에서는 2016년부터 초기 단계의 인공지능 기반의 프로그램 제작환경을 구축했습니다. 즉, NHK 기술연구소의 ‘Smart Production’은 새로운 인공지능 방송기술로서, 다양한 종류의 정보를 신속·정확하게 수집하고 분석하여 다양한 시청자에게 정보를 제공하는 것을 의미합니다.
구체적으로 Smart Production은 다음의 과정을 통해 프로그램을 제작합니다. 우선 사회의 다양한 데이터(소셜 미디어, 지방정부 데이터, 비디오·오디오 인터뷰)를 수집하고, 이 중 프로그램과 관련된 빅데이터를 인공지능을 통해 분석하고, 이를 프로그램 제작을 지원하는 데 활용합니다. (참고로 NHK 과학기술연구소에서는 인공지능 기반의 빅데이터 분석, 미디어 컨버전스, 이미지 인식, 음성 인식 연구를 수행하고 있습니다.)
프로그램은 방송, 웹 등을 통해 시청자와 만나게 됩니다. 이때 외국인이나 장애인을 위한 수화·자막·영어 서비스를 제공하는 사용자 친화적인 방송(human friendly broadcasting)을 구현하는 데에 인공지능을 활용하기도 합니다.
1) 텍스트 빅데이터 분석 기술(Textual big data analysis technologies)
최근에는 스마트폰 이용률이 높아지면서 각종 재난 및 사건·사고 발생 시 SNS에 사고 정보가 가장 먼저 업로드되고, 확산되고 있습니다. 방송국에서도 사건 뉴스 제작에 필요한 정보를 소셜미디어에서 검색·활용하는 경향이 많아지고 있습니다. NHK 과학기술연구소에서는 이러한 소셜미디어(트위터)의 특징을 놓치지 않고 방대한 양의 게시글 중에서도 로컬 방송제작자가 뉴스에 유용하다고 판단한 트윗을 학습하고, 유용한 트윗을 검색하여 제시하는 시스템을 개발했습니다. 그리고 현지 뉴스팀과 협력해 현장 테스트를 시도하기도 했습니다.
이 시스템은 RNN(Recurrent Neural Networks)을 사용하여 트윗에 나타나는 단어가 뉴스 방송에 유용한 정보를 포함하는지 여부를 결정합니다. 화재, 교통사고, 재해와 같은 24가지 뉴스 범주로 정보를 분류하는 방법을 학습해 지역 방송제작자가 각 정보를 확인하는 작업을 자동화할 수 있습니다. 이 시스템은 RNN(순환신경망)을 사용했기 때문에 기능 향상을 위한 새로운 학습 데이터를 얻기 위해 방송제작자로부터 피드백을 받습니다. NHK 과학기술연구소에서는 이 시스템의 정확도를 향상하기 위해 트윗에 첨부된 이미지의 개체를 식별하여 뉴스 가치가 있는 트윗을 분류하는 등 추가 연구를 수행하고 있습니다.
한편, NHK 과학기술연구소에서는 공공기관 및 지방자치단체가 조사·발표한 데이터를 활용하는 시스템도 개발했습니다. 자동 뉴스 원고 작성시스템(Automated news manuscript creation system)은 호우 등 기상 현상이 발생했을 때 하천의 수위 등을 빠르게 보도할 수 있도록 자동으로 뉴스 원고를 작성합니다.
하천의 수위 데이터는 10분 간격으로 업데이트되는 특정 재단의 수치로 얻습니다. 이 정보에는 모니터링 위치, 현재 수위, 홍수 경고 및 홍수 위험과 같은 상태를 나타내는 네 가지 수위 알림 임계값이 포함됩니다. 지역방송국에서는 축적된 이전 방송 뉴스를 분석해 고정 표현(템플릿)을 자동으로 추출하고, 수위 경고 시 사용되는 강 이름과 뉴스 표현을 식별합니다. 이 과정을 통해 템플릿과 수위 데이터가 업데이트된 뉴스 원고 초안이 작성됩니다. NHK는 2017년 우기에 지역 뉴스에서 이 시스템의 현장 테스트를 마쳤습니다.
2) 비디오 분석 기술 : 흑백 비디오의 자동 컬러화(Automatic colorization technology for monochrome video)
NHK 과학기술연구소에서는 다양한 비디오 분석 기술을 진행하고 있습니다. 비디오 자동 요약 기술연구, 단색 필름의 색채기술 연구도 진행하고 있습니다. IBC 2018에서 발표된 두 가지 내용 중 색채 기술연구는 올해의 NHK Open house 2019(방송기술 공개전시회)에서 이용자 참여형 부스로 꾸려지기도 했습니다. 전시명은 ‘인공지능으로 흑백 사진을 컬러화하기!(AIで白黒写真をカラー化してみよう！)’였습니다.
IBC 2018 논문에서는 사진뿐만 아니라 과거의 단색 비디오를 유색 비디오로 자동 변환하는 기술을 소개하고 있습니다. 이 기술은 인공지능-DNN(Deep Neural Network) 기반으로, NHK 아카이브에 저장된 과거 TV 프로그램 및 컬러 필름에서 수집한 약 2만 개의 비디오 데이터를 학습했습니다. 그 결과 색상 추정, 색상 보정 및 인접 프레임에 대한 색상 정보 전파를 위한 DNN 3개가 흑백 비디오를 컬러 비디오로 자동 변환하는데 사용되었습니다.
인공지능 기반의 자동화도 중요하지만 역사적 사실에 기반한 색상 보정도 중요하기 때문에 사용자가 지정한 색상을 고려하는 시스템도 개발했습니다. 이미지의 여러 영역을 클릭하고, 적용해야 할 색상 또는 색상의 경계를 지정하는 작업을 통해 사용자는 색상을 쉽게 수정할 수 있게 되었습니다.
과거에는 한 번에 하나씩 손으로 프레임을 색칠하는 방식으로 몇 초짜리 비디오를 색칠하는 데 수일이 걸렸습니다. 그러나 이제는 자동화된 컬러링 시스템으로 5초의 흑백 필름을 30초~30분 이내에 색칠을 완료할 수 있게 되었습니다.
3) 자동화된 오디오 서술(Automated audio description) : 인공지능 아나운서
TV 방송은 시각적 정보를 음성 해설로 보완함으로써 시각 장애인의 방송 내용의 이해를 향상시킵니다. 그러나 오디오 해설은 현재 드라마와 같이, 사전 제작된 프로그램에서만 제공되고 있으며 생방송 프로그램에서 오디오 해설은 지원되고 있지 않습니다. 이에 NHK 과학기술연구소에서는 DNN을 기반의 ‘자동 음성합성 기술’을 연구하고 있습니다. IBC 2018에서 발표된 논문에서는 방송프로그램에 본격 활용하기 위해 인공지능 아나운서를 만들었고, 뉴스를 읽거나 학습 데이터를 구성하는 등의 준비를 하고 있다고 밝혔습니다.
NHK 과학기술연구소에서 개발한 인공지능 아나운서는 ‘요미코(Yomiko)’라고 불립니다. 요미코(Yomiko)는 일본어로 ‘읽다’라는 뜻의 ‘Yomu’에서 따온 이름입니다. 오피스레이디로 유명한 캡슐장난감 ‘후치코’와 비슷한 외관인데, 후치코를 기획한 만화가 타나카 카츠키(Katsuuki Tanaka)가 요미코 역시 기획했습니다. 요미코는 인공지능 아나운서라는 점을 강조하듯 ‘A’와 ‘I’의 알파벳 귀걸이를 장착하고 있습니다.
요미코는 2018년 4월 NHK ‘News Check 11’에서 데뷔를 했습니다. 현재는 NHK <ニュース シブ5時(News Shibu 5)>에 매주 금요일 ‘신경 쓰이는 뉴스 랭킹’에 출연하고 있습니다. 최근에는 NHK와 홋카이도 대학과의 공동 연구 프로젝트로 일본의 센류를 학습, 뉴스 코너에서 낭독하는 프로젝트에도 참여하고 있으며, 이 외에도 Google Home 및 Amazon Echo, Alexa를 통해 최신 뉴스를 읽어주기도 합니다.
아나운서가 뉴스를 읽는 목소리는 일반 사람들의 목소리보다 더 부드럽고 이해하기 쉬운 템포를 가지고 있습니다. 이러한 목소리를 얻기 위해 요미코는 대용량의 뉴스 스크립트와 아나운서 스피치를 사용하여 문맥 음성 기능에 대해 교육을 받았습니다. 전문지식 발표를 구현하는 아나운서의 연설을 사용하면, 데이터가 자연스러운 음색의 음성합성을 구현합니다. NHK는 지역 방송국의 아나운서 지원사업을 수행하기 위해 다양한 내용의 음성합성이 보다 자연스럽게 들릴 수 있도록 추가적인 기술연구를 지속할 계획이라고 밝혔습니다.
또한, NHK는 요미코에 대해 ‘시청자 참여라는 개념에 중점을 둔, 뉴스를 전달하는 새로운 방법’이라고 언급하며, ‘시청자와 함께 성장하고 뉴스 읽기 및 대화 기술을 향상시키는 AI 아나운서로 자리매김하고 싶다’고 밝혔습니다. 요미코를 단순히 뉴스를 ‘읽어주는’ 역할로 활용하는 데에 그치지 않고 시청자와 보다 친밀한 관계를 형성할 수 있는 ‘대화형’ 인공지능으로 개발하려고 하는 것으로 생각됩니다.
Ⅲ. 나가며
지금까지 IBC 2018에서 발표된 NHK의 논문 ‘AI-Driven Smart Production’ 중에서 국내에서도 연구해볼 만한 가치가 있는 사례를 몇 가지 간추려 살펴보았습니다. 이번 호 내용은 크게 빅데이터 분석, 비디오 분석, 인공지능 아나운서 개발로 요약할 수 있는데, 전체 내용을 관통하는 핵심은 ‘목적성을 띤 양질의 데이터 기반’으로 인공지능 방송기술 개발이 이루어졌다는 점입니다. 예를 들어, 처음 소개한 자동 뉴스스크립트 작성시스템에는 ‘축적된 이전의 방송 뉴스 원고들’이, 흑백비디오의 자동컬러화 기술에는 ‘NHK 아카이브에 저장된 과거 TV 프로그램들’이, AI 요미코의 훈련을 위해서는 ‘아나운서의 스피치 오디오들’이 학습데이터로써 사용되었습니다.
이러한 과정은 과거에 제작한 수많은 콘텐츠를 활용해 미래의 가치를 재생산해내는 과정이라고 생각합니다. NHK 과학기술연구소는 IBC 2018 발표 논문에서도 ‘사회 및 과거 TV 프로그램 아카이브에서 제공되는 다양한 정보를 활용할 때 (중략) 필요한 정보를 빠르고 효율적으로 얻을 수 있는 것은 물론, 제작진이 수월하게 프로그램을 만들 수 있다’고 언급했습니다. 다음 달에는 NHK 기연 공개 2019(Open House 2019) 소식을 전달하며, 진일보한 일본의 방송기술 사례로 찾아뵙겠습니다.
| 참고문헌
NHK(2018). AI-DRIVEN SMART PRODUCTION. (IBC 2018)
NHK 요미코 홈페이지 (www.nhk.or.jp/voice/yomiko, 뉴스를 들을 수 있습니다)
白黒映像をAIで自動着色 NHKの技術を記者が体験 (ITmedia, 2019.05.30.)
Public broadcaster’s AI newsreader to make senryu poetry debut (The Mainichi, 2019.03.13.)
Japan’s NHK is putting an AI-powered cartoon anime on air to read you the news. (The Splice, 2018.05.09.)
