국내 최초 뉴스제작 AIX(AI Transformation) 구축
이상태 SBS 미디어IT팀 차장
현재 AI 기술은 다양한 산업 분야에 적용되고 있으며, 이를 통해 효율성을 향상하고 혁신을 이끌어내는 사례가 많이 있습니다.
SBS 기술 부문에서는 방송제작 및 유통 부문에 선도적으로 AI 기술을 적용하여 제작 프로세스를 개선해 많은 성과를 내고 있습니다. 2023년도에는 신속성이 중요한 보도제작부문에 도전적으로 AI 기술을 도입하여 워크플로우를 자동화하고 업무 프로세스를 크게 개선했습니다.
구축 내역 및 관련 기술을 아래와 같이 소개해 드립니다.
1. Similarity 기반 AI 분석 툴 및 다국어 STT 추출 프로그램
AI는 완성형 기술이 아니라 진화형 기술이므로, 도입을 위해서는 정확한 성능 검증과 그 검증 결과를 바탕으로 한 분석 및 검토가 반드시 선행되어야 합니다. 하지만 성능에 대한 정확한 검증은 생각보다 쉽지 않습니다. 한국어 STT나, 얼굴인식, 사물인식의 경우에는 정답 여부가 ‘상식’에 의한 판단 영역 안에 있으므로 시간만 투자하면 정답 판별에 의한 성능 검증은 가능합니다. 하지만, 그 외의 경우 특히, 제2, 제3의 외국어의 경우는 해당 언어에 대한 충분한 사전 지식이 필요한 영역이므로 ‘엄청난’ 시간을 투자하지 않는 한 정답 검증은 불가능의 영역입니다.
이러한 다국어 STT의 성능을 문자 Similarity 기반으로[그림 1. 참조] 결과를 도출하여 그 정확성을 한눈에 볼 수 있는 툴[그림 2. 참조]을 자체 개발하여 국제부를 통해 들어온 모든 외신 영상에 대한 대사 데이터를 활용할 수 있도록 하였습니다.
정답지가 제공되는 외신은 정답지를 활용하여, 없는 경우에는 추론 알고리즘을 활용하여 정확도를 표시하여 메타화 여부를 결정할 수 있도록 하였습니다. 또한, 추출된 원어 대사를 영상과 함께 보면서 성능을 검증할 수 있는 기능도 제공하고 있습니다. [그림 3. 참조]
2. 외신 영상 자동수신 프로그램
위 검증 툴을 통한 검증의 대상인 각종 외신 소스(AP, 로이터, CNN)로부터 외신 영상들을 자동으로 입수하며, 입수 현황을 실시간 모니터링할 수 있도록 한 입수 서버 및 클라이언트 프로그램을 자체적으로 개발했습니다. (아래 스펙 참조)
1) 서버 : NodeJS, Python, ffmpeg
– NodeJS : 클라이언트 단과의 통신 담당 및 클라이언트 웹페이지 호스팅
– Python : 프로세스 상태 감시, 입수 영상의 카탈로깅/트랜스코딩/스크립트 추출 작업 관리 및 영상 입고 관리, STT/번역 등 CMS와의 통신 담당
– ffmpeg : 트랜스코딩/카탈로깅
2) 클라이언트 : React 기반, 외신 클립 목록, 선택된 클립 미리보기 및 스크립트 제공
해당 프로그램을 100% 오픈소스 기반으로 개발하여 전용 H/W 의존성을 줄이고, S/W 개발/유지보수의 외주 필요성을 제거하였습니다. 해당 프로그램은 향후 인제스트 업무 전반에 걸친 프로세스 변화를 주도할 것입니다. [그림 4. 참조]
3. 외신 다국어 STT/영한 번역 API 연동 매니저
외신 기사의 신속한 검색 및 활용을 위해서는 기존 기사 원문 외에 대사 및 영한 번역 데이터가 필요합니다. 외부의 다국어 STT 및 영한 번역 엔진에 효과적으로 작업을 전달하고, 결괏값을 받기 위한 API 연동 매니저 시스템을 구축하였습니다.
워크플로우는 아래와 같습니다.
1) 외신 영상 자동 입수
2) MP4 파일에서 MP3 추출
3) 다국어 STT 및 영한번역 텍스트 추출 워크플로우 호출
4) CMS에서는 API 연동 매니저(SBS 자체 개발)를 통해 외부 STT 엔진 및 영한번역 엔진에 텍스트 추출 요청 후 결괏값 입수
5) 결괏값을 CMS 및 보도정보시스템에 업데이트
사용자는 다국어 STT 데이터와 번역 결괏값을 UI에서 쉽게 확인할 수 있습니다.
4. 대사 기반 검색시스템
현재의 보도 영상 검색은 사용자가 입력한 메타데이터가 기본이 되어, 검색의 정확도 및 신속성이 떨어집니다. 이를 개선하고자, AI의 STT(Speech To Text) 기능을 이용하여 기존 메타데이터 외에 영상에 포함되어 있는 음성에서 대사 정보를 추출하고 검색데이터로 활용하여 검색 기능을 획기적으로 개선하였습니다.
워크플로우는 아래와 같습니다.
1) 영상 아카이브 완료 시, 국문 STT 텍스트 추출 워크플로우 호출
2) CMS에서는 API 연동 매니저(SBS 자체 개발)를 통해 외부 STT 엔진에서 텍스트 추출 요청 및 결괏값 입수
3) 추출된 텍스트를 CMS에 업데이트
4) 검색 키워드를 이용하여 해당 구간 자막 및 영상 확인
5. 글을 마치며
SBS 기술 부문에서는 현재도 끊임없이 AI 기술을 연구하고 적용하여 제작 업무 프로세스를 크게 개선하고 있고, 유통 부분에서도 수익화를 위한 다양한 방안을 찾고 있습니다.
즉, 방송기술의 AIX(AI Transformation)을 위해 끊임없이 노력하고 발전하고 있습니다. AIX의 일부 아이템이었던 ‘외신자동화 및 대사 기반 검색시스템’을 같이 고민하고 구축하면서 고생하신 미디어IT팀 선후배님께 다시 한번 감사의 말씀을 드립니다.
