지난 호에서는 클라우드 컴퓨팅에 대한 개괄적인 내용과 클라우드 컴퓨팅이 전체 산업군에 어떠한 영향을 주고 있는지를 살펴보았다. 클라우드는 수 분 만에 필요한 IT 자원들을 배포하여, 빠르게 시장에 접근할 수 있는 제품을 만들 수 있도록 한다. 다양한 고객의 피드백을 바탕으로 서비스를 개선하고, 전 세계를 대상으로 서비스를 확장하며, 비용 효율적으로 서비스를 운영할 수 있는 것도 장점이다. 미디어 산업도 예외는 아니다. 넷플릭스는 AWS를 활용하여 이미 전 세계 190개 이상의 국가에서 미디어 서비스를 제공하고 있고, 아마존 비디오 또한 작년 연말에 200개 국가로 서비스를 확장했다. 바야흐로 미디어 시장에서도 클라우드를 활용한 국경 없는 경쟁이 시작되고 있다.
지난 2011년 BBC를 비롯한 영국의 공영방송사들은 방송사들과 제작자들의 디지털 제작을 돕기 위해 Digital Production Partnership(DPP)이라는 비영리 단체를 조직하고, 방송 환경의 디지털화를 조직적으로 진행하고 있다. DPP의 설립은 홈페이지에서 밝히고 있듯, “모두에게 더 생산적인 콘텐츠 제작 및 배포를 위한 완전한 디지털, 글로벌, 인터넷 최적화 환경으로의 이행”을 목적으로 하고 있다. DPP는 이를 통해 콘텐츠를 주고받는 여러 규격 및 인터페이스를 정의하고, 미디어 메타데이터의 사용을 표준화하는 등 효과적인 디지털 생태계를 만들어, 다양한 미디어 기업들이 빠르고 수익성이 높은 비즈니스를 만드는 데 도움을 주고 있다.
또한 BBC는 iPlayer를 통한 신속한 콘텐츠 배포를 위해 “Video Factory”라는 콘텐츠 가공 플랫폼을 구성하고, 유입되는 Live 스트림 및 미디어 파일들을 효과적으로 저장/가공하여, 수백 개 이상의 OTT(Over The Top) 디바이스들을 위한 다양한 미디어 콘텐츠 요구를 유연하게 처리하고 있다. BBC는 Video Factory를 위해 늘어나는 스토리지 공간과 컴퓨팅에 대한 요구를 충족시키기 위해 클라우드를 적극적으로 활용하고 있으며, 새로운 서비스에 빠르게 대응하기 위하여 개발 방법론의 새로운 트렌드인 마이크로서비스 아키텍쳐(Microservice Architecture)를 도입해 새로운 라이브 채널에 대한 스트리밍 서비스를 15분 내에 구성할 수 있도록 했다.
넷플릭스, 아마존 비디오, BBC뿐 아니라, 수많은 미디어 기업들이 클라우드를 적극적으로 활용하고 있다. 클라우드를 사용하고 있는 고객들의 사용 패턴을 분류해 보면, 크게 여덟 가지 범주로 나눌 수 있다.
[그림 1]과 같이 미디어 제작 및 유통, 배포의 각 단계에서 클라우드가 적용되고 있다. 정리해 보면, 입수(Acquisition), 특수효과 및 편집(VFX & NLE), 자산 관리 및 아카이빙(DAM & Archive), 미디어 공급망 관리(Media Supply Chain), 웹 및 모바일 환경(Publishing), 인터넷 미디어 서비스(OTT), 미디어 콘텐츠 배포 및 재생(Playout & Distribution), 데이터 분석 및 추천 시스템(Analytics)의 여덟 가지 패턴으로 나눌 수 있다. 각각의 패턴에 대해 좀 더 자세히 알아본다.
1. 입수(Acquisition)
이 패턴은 주로 원거리 및 글로벌 환경에서 미디어 스트림을 주고받는 것을 포함한다. 예를 들어, 국내에서 생산되는 방송 신호를 전 세계에 배포한다고 했을 때, 위성을 통한 중계를 고려해 볼 수 있다. 이러한 경우, 위성의 높은 임대 비용을 낮추기 위해 클라우드를 사용해 볼 수 있다. 지난 호에서 언급했듯, 클라우드 서비스는 세계 여러 나라에서 제공된다. AWS의 경우 2017년 1월 현재 16개의 리전(Region)과 68개의 엣지 로케이션(CDN 서비스)이 제공되고 있어 이를 활용하면 손쉽게 방송 신호를 전 세계로 전달할 수 있다.
이와 같이 방송센터에서 라이브 인코더를 통해 클라우드에 있는 라이브 인코더에 스트림을 입수시키거나, 클라우드상에 라이브 스트림에 대한 오리진(Origin) 서비스를 구축하여 입수시킴으로써 손쉽게 전 세계에 라이브 스트림을 전달할 수 있다. [그림 2]에서는 엘레멘탈(Elemental)의 클라우드 서비스를 활용하여 라이브 스트림을 전달하는 예를 들었다. 높은 위성의 임대료 가격을 고려하였을 때, 이러한 클라우드 기반의 방송 전달은 비용 절감 효과가 있다.
2. 특수효과 및 편집(VFX & NLE)
이 영역에서의 클라우드 활용은 두 가지 중요한 부분이 있다. 우선, NLE 혹은 렌더링 소프트웨어의 컴퓨팅 자원 요청을 클라우드에서 처리하고(GPU 인스턴스도 활용이 가능하다), 실제 작업은 어떠한 단말에서든 효율적인 프로토콜을 통해 화면을 전송받음으로써 이루어진다. 예를 들어 Adobe 프리미어로 작업하는 경우, 프리미어는 클라우드상의 GPU 인스턴스에 설치되고, 이 인스턴스가 실제 클라우드 혹은 방송 센터에 존재하는 미디어 파일을 마운트해서 처리하게 된다. 사용자는 PC 혹은 모바일 단말을 이용해, 클라우드상의 인스턴스에 접속하여 프리미어의 실행 화면을 조작하게 된다.
그다음 중요한 부분은 대용량 스토리지이다. 방송 센터에서 이미 사용되고 있는 많은 양의 스토리지를 고려할 때, 하이브리드 형태로 서비스를 구성하여 방송 센터의 스토리지와 클라우드상의 스토리지를 유연하게 사용할 수 있는 환경을 구성하게 된다. 즉, 방송 센터와 클라우드 센터가 마치 하나의 데이터 센터처럼 운영되는 환경이다. 많은 기업들이 Avere 등의 소프트웨어를 사용해, 이러한 하이브리드 구성을 통하여 유연한 스토리지 환경을 구축하고 있다. UHD, HDR 등의 새로운 기술로 인하여 폭발적으로 늘어날 스토리지의 양을 고려한다면, 이 부분은 미디어 회사들의 디지털 전략에 매우 중요한 부분이 될 것이다.
클라우드에서 특수효과 및 렌더링 작업을 수행하는 경우, 현실적으로 무제한으로 제공되는 클라우드의 컴퓨팅 자원은 큰 장점이 된다. 작업을 수행하는 노드의 수를 늘려서 더 빠른 시간 안에 특수효과 및 렌더링 작업을 수행한다면, 그 시간만큼 콘텐츠의 품질을 높일 수 있다. AWS를 사용하는 경우 늘어나는 컴퓨팅 자원에 대한 비용은 예약 인스턴스(Reserved Instance) 및 스팟 인스턴스(Spot Instance)를 활용하여 비용을 낮출 수 있다. 스팟 인스턴스는 클라우드에서 사용되고 있지 않은 여분의 가상머신들을 고객들 간의 경매를 통해 낮은 가격으로 공급하는 방식이다. 대개 표준 가격의 10~20%의 금액으로 이용할 수 있으므로, 렌더링이나 많은 컴퓨팅 자원을 요구하는 업무에 적합하다.
3. 자산 관리 및 아카이빙
제작 시스템을 통해 제작된 디지털 콘텐츠, 그리고 여러 경로를 통해 입수되는 디지털 콘텐츠들을 관리하는 시스템을 흔히 디지털 자산 관리(Digital Asset Management, DAM) 시스템이라고 한다. 효과적인 디지털 자산 관리를 위해서는 여러 가지 요소들을 고려해야만 한다. 효율적인 파일 및 스트림 입수, 메타데이터의 유연한 추출, 자동적인 렌디션 생성, 디지털 자산에 대한 목록 검색, 스토리지 자원의 계층적 사용, 그리고 안전한 디지털 미디어 자산들에 대한 배포까지 많은 요소들이 포함된다.
여기서는 AWS를 활용한 클라우드 DAM을 간단히 살펴보자. 가장 먼저 미디어 자산들이 저장될 스토리지는 Amazon S3(Simple Storage Service)라는 오브젝트 스토리지를 사용한다. 오브젝트 스토리지는 서버에 연결되어 파일시스템 형태로 사용되는 블럭 스토리지(Block Storage)와는 다른 기능을 제공한다. 가장 특징적인 기능으로 S3에 존재하는 객체(Object)들은 스스로 웹서비스가 가능한 URL을 가지고 있다. 즉, 웹 서버 혹은 파일 서버의 도움이 없이도 미디어 자산을 업로드, 다운로드를 할 수 있다. 또한 현실적으로 무제한의 네트워크 대역폭을 제공하기 때문에 미디어 자산을 업로드, 다운로드하는 클라이언트의 네트워크 대역폭이 허용하는 만큼 네트워크 대역폭을 사용할 수 있다.
외부의 다양한 미디어 제공업체 및 제작이 완료된 콘텐츠들을 S3에 업로드하면, S3 스토리지는 업로드가 완료됨과 동시에 이벤트를 발생시킨다. 이벤트는 업로드된 객체의 이름 및 기본적인 속성을 포함하므로, 이벤트를 사용하여 연계 작업들을 자동적으로 실행할 수 있다. AWS는 이러한 이벤트 기반의 처리를 위해서 AWS 람다(Lambda) 함수라는 컴퓨팅 자원을 제공한다. 람다 함수는 미리 가상머신을 만들어 두지 않아도 이러한 이벤트를 통해 구동되어 필요한 업무를 수행할 수 있도록 해 준다. [그림 4]는 미디어 파일이 입수되는 이벤트를 받아 람다 함수가 필요한 트랜스코딩 작업을 수행하여 미디어 배포에 사용될 여러 렌디션을 생성하는 것을 나타낸다. 이러한 과정은 사용자의 개입 없이 이벤트 기반으로 자동으로 이루어진다.
실제 트랜스코딩 작업은 Elemental이나 AWS의 ETS(Elastic Transcoder) 등과 같은 트랜스코딩 서비스를 통해 이루어진다. 물론, 가상머신을 사용하여 사용자 고유의 트랜스코딩 환경을 구성할 수도 있다. 그렇지만 트랜스코딩 서비스를 사용하여 자원의 크기를 미리 할당하지 않고, 시간당 과금을 통하여 트랜스코딩 서비스를 사용할 수 있으므로, 탄력적이고 비용 효율적인 환경을 손쉽게 구축할 수 있다.
트랜스코딩이 완료된 배포용 미디어 자산들은 다시 S3의 배포용 위치로 저장된다. 이때 다시 S3로부터 이벤트가 발생하며, 이 이벤트를 통하여 미디어 자산들의 메타데이터를 추출하고 이를 CMS에 업데이트하는 작업이 람다 함수를 통해 호출될 수 있다. 결국 미디어가 입수되고, 트랜스코딩이 이루어지고, 정해진 위치로 배포되고, CMS를 업데이트하는 작업까지 서버를 사용하지 않고 전체 과정이 이뤄진다. 서버리스 클라우드 DAM이라고 할 수 있다(Serverless Cloud DAM).
CMS는 손쉽게 자산을 검색, 추출할 수 있는 검색 엔진 및 접근 UI를 가지고 있어야 한다. 클라우드에 최적화된 CMS는 클라우드에서 제공하는 NoSQL 데이터베이스 및 검색 엔진, 그리고 API 게이트웨이를 통해 역시 서버 없이 쉽게 구축될 수 있다.
지속적으로 미디어 자산이 입수되면 사용되는 스토리지의 양은 빠르게 늘어나게 된다. 미디어 센터에서 이러한 스토리지를 사용하는 경우 향후 증가분을 고려하여 항상 스토리지는 여유 공간을 가진 채로 관리된다. 그러나 위에서 설명한 S3와 같은 오브젝트 스토리지의 경우, 실제 저장된 양에 대해서만 비용이 지불되므로 더 효율적으로 스토리지를 사용할 수 있으며, 자동화되어 있는 라이프사이클 정책을 사용해 자주 사용되지 않는 미디어 자산들을 더 저렴한 스토리지 영역으로 이동시킴으로써 비용을 더욱 낮출 수 있다. S3의 아카이빙 스토리지 클래스인 Amazon Glacier를 통해 1TB를 한 달 동안 저장한다면, 5달러의 비용이 발생한다.
물론, 이러한 자산 관리를 위해 다양한 솔루션들을 사용할 수 있다. Mediasilo, Sonymcs.com, Vidispine 등의 업체들이 AWS상의 디지털 자산 관리 솔루션들을 제공하고 있다.
4. 미디어 공급망 관리
대부분의 미디어 기업들은 다양한 경로를 통해 미디어 콘텐츠를 공급받는다. 이렇게 공급되는 미디어 콘텐츠들을 서비스하기 위해서는 여러 가지 사전작업이 필요하다. 모든 미디어 콘텐츠 공급자들을 위한 안정된 업로드 서비스를 제공하고, 입수된 콘텐츠들의 품질 검사(Quality Check), 앞서 설명한 DAM과의 연동 등 다양한 작업들이 순서대로 이루어져야 한다. 이러한 작업들은 최대한 수동 작업을 배제하고 자동화되어야 하는데, 이를 위한 관리 시스템이 필요해질 수 있다. SDVI와 같은 업체들이 이러한 서비스를 클라우드 상에서 제공하고 있으며, 유연한 환경을 제공하고 있다. 작년 라스베이거스에서 열렸던 AWS re:Invent 2016에서 터너(Turner)가 자사의 클라우드 미디어 공급망 관리 환경을 소개한 바 있다.
아직은 위의 그림이 낯설고 어렵게 느껴질 수 있지만, 터너의 미디어 공급망 관리의 특징 역시 최대한 가상머신을 통한 서버의 사용을 자제한 서버리스 환경이라는 데 있다. 가상머신의 사용을 줄임으로써, 불필요한 보안 위험이나 장애 요소들을 줄이고, 탄력적이고 안정된 서비스를 운영할 수 있다.
5. 웹 및 모바일 환경(Publishing)
가장 클라우드를 통해 손쉽게 구성할 수 있는 영역이라고 여겨지는 부분이다. 이미 국내에서도 SBS 콘텐츠 허브가 메인 홈페이지를 비롯한 많은 서비스를 AWS 위에서 운영하고 있다.
클라우드에서는 모바일/웹 서비스를 위한 다양한 구성 요소들을 손쉽게 사용할 수 있다. 오브젝트 스토리지를 활용하여 정적 콘텐츠를 제공함으로써 필요한 서버의 양을 줄이고, 클라우드상의 로드 밸런서를 사용하여 가용성, 확장성 및 탄력성을 가져갈 수 있다. DNS 서비스를 사용하여 클라우드와 IDC 간의 이중화 구성도 가능하며, VPN 및 전용회선을 통해 클라우드와 IDC 간 하이브리드 구성을 손쉽게 할 수 있다.
AWS의 경우 Amazon CloudFront라고 하는 CDN 서비스를 함께 제공하고 있으므로, 정적 콘텐츠 및 동적 콘텐츠를 확장성 있게 서비스할 수 있다. CloudFront는 실제 전송량만큼만 비용이 발생하므로 불규칙하고 예측이 어려운 서비스에 도입하면 비용 절감 효과가 크다.
CDN 서비스 이외에도 웹 소스 코드만 가지고 있으면 확장성과 가용성이 보장된 자원들을 자동으로 할당해 주는 AWS Elastic Beanstalk, 개발 소스들의 빠른 테스트와 배포를 자동화하는 DevOps 툴들도 제공되므로 손쉽게 웹 환경을 구축할 수 있다.
6. 인터넷 미디어 서비스(OTT)
전 세계적으로 OTT 서비스에 대한 요구가 뜨겁다. 더 이상 시청자들은 TV 수상기 안에만 머물지 않으며, 다양한 매체를 통해 미디어를 소비하고 있다. 이러한 소비자들을 위한 다양한 형태의 서비스 – OVP(Open Video Platform), SVOD(Subscription VOD), TVOD(Transactional VOD), AVOD(Advertising VOD) – 들이 생겨나고 있다. 앞에서 언급한 넷플릭스나 아마존 비디오의 경우 대표적인 SVOD 서비스라고 할 수 있다.
효과적인 OTT 서비스를 구축하기 위해서는 효과적인 미디어 콘텐츠 및 DAM/CMS가 구성되어 있어야 한다. 여기에 더해 OTT 서비스에서는 DRM, 안정적인 미디어 스트리밍을 위한 CDN 전략, 다중 접속 차단, 콘텐츠 추천을 위한 효과적인 데이터 분석 환경, OTT 단말에서의 데이터 추출 등 다양한 부분들을 고려하여야 한다. 물론 모든 부분을 클라우드 서비스에서 일괄적으로 제공하지는 않으며, 많은 경우 클라우드상에서 해당 서비스를 제공하는 파트너들의 솔루션을 사용하게 된다. DRM의 경우 국내에서 잉카엔트웍스가 PallyCon이라는 DRM 솔루션을 AWS 상에서 제공하고 있다.
사용자들의 패턴을 분석해서 효과적인 추천 시스템을 만들기 위해서는 플레이어에서 유입되는 다양한 데이터들을 효과적으로 저장하고 분석하는 도구들이 필요하다. 클라우드에는 다양한 빅데이터 솔루션들이 존재하여, 짧은 시간에 효과적인 분석 시스템을 구축할 수 있다. AWS의 경우, 플레이어에서 유입되는 데이터를 효과적으로 수신하기 위한 데이터 스트리밍 서비스인 Amazon Kinesis, 실시간 데이터 저장 및 처리를 위한 NoSQL 데이터베이스인 Amazon DynamoDB, 준 실시간 및 배치 작업을 위한 Amazon EMR(Hadoop)/Spark 서비스, 데이터 웨어하우징을 위한 Amazon Redshift, BI 도구인 Amazon Quicksight, 예측을 위한 Amazon Machine Learning 서비스, 인공지능 서비스까지 다양한 데이터 분석 도구들을 제공하고 있다.
또한 시장 경쟁이 치열해지고 많은 경쟁 업체들이 생겨나면서 빠른 서비스 개선 속도가 점점 더 중요한 요소가 되어 가고 있다. AWS는 이러한 민첩한(agile) 환경에서 사용되는 마이크로서비스 아키텍처를 위한 다양한 구성 요소들을 제공한다. 서버리스 아키텍처를 통한 신속한 환경 구축, 코드 개발 파이프라인을 자동화하여 빠르게 코드의 변경을 배포할 수 있도록 하는 서비스, 모바일 개발을 위한 모바일 허브 등 다양한 도구들을 제공한다. 이미 BBC, 넷플릭스 등은 마이크로서비스 아키텍처를 통해서 빠른 서비스 개발을 진행하고 있다.
7. 미디어 콘텐츠 배포 및 재생(Playout & Distribution)
점점 더 많은 미디어 기업들이 클라우드를 통해 라이브 및 VOD 서비스를 제공하고 있다. 대표적인 예로 아마존 비디오의 라이브 환경을 보도록 하자.
아마존 비디오의 경우 위와 같이 두 개의 AWS 리전을 사용하여 가용성을 높이고 있다. 또한 각 리전 안에서 다시 이중화 구성을 함으로써, 가용성 및 사용자 접근성을 함께 높이고 있다. AWS의 하나의 가용 영역은 두 개 이상의 데이터센터 클러스터로 구성되어 있기 때문에 하나의 리전 안에서의 이중화도 가능하다.
흥미로운 점은 아마존 비디오가 여러 개의 CDN을 사용하여 배포하고 있다는 점이다. 사용자에게 보다 좋은 성능을 제공할 수 있는 CDN 서비스를 선택할 수 있는 알고리즘을 사용하여 각 사용자 네트워크에 대한 정보 분석을 하고 있다. 이는 사용자 만족도의 증대 및 향후 확장성을 고려한 아키텍처라고 볼 수 있다.
이와 같이 Wowza 혹은 Elemental 제품, 그 외 다양한 Live Encoder들을 사용하여 빠르게 클라우드에서 라이브 환경을 구축할 수 있고, 이미 설명한 CDN 서비스를 통해 손쉽게 확장성 및 비용 효율성을 가져갈 수 있다. 이 부분에 대해서는 다음 호에서 예제와 함께 좀 더 자세히 살펴볼 예정이다.
8. 데이터 분석 및 추천 시스템(Analytics)
데이터 분석의 중요성은 점점 더 강조되고 있다. 클라우드에서는 오픈 소스 및 상용 도구를 포함한 다양한 형태의 데이터 분석 도구들이 제공되고 있다. AWS의 경우 오브젝트 스토리지인 S3를 빅데이터의 스토리지로 사용할 수 있도록 모든 도구들이 구성되어 있다. 하나의 만능 툴을 사용하기보다는 사용 목적이나 패턴에 맞추어 여러 도구들을 효과적으로 연계하여 사용하는 것에 초점을 맞춘다면, 효율적인 빅 데이터 시스템을 구성할 수 있다. 즉, 실시간으로 유입되는 데이터에 대한 대시보드 및 이벤트 처리, 준실시간으로 일어나는 마이크로 배치형태(시간당 통계 등), 혹은 일, 월, 년 단위로 이루어지는 배치 처리 등에 따라 각 업무에 맞는 아키텍처를 동일한 데이터 스트림으로부터 손쉽게 만들 수 있다.
앞에서는 OTT 플레이어로부터의 데이터 분석에 대해 언급하였는데, 웹로그 분석을 간단히 살펴보자. 사용자들이 웹 브라우저 혹은 모바일 단말을 통하여 서비스를 이용하는 경우 모든 요청 내용들이 웹로그 형태로 축적된다. AWS를 사용하는 고객들의 경우, 대개 이렇게 축적되는 웹로그들을 S3 상의 특정 위치에 두고 여러 가지 방법으로 분석한다. S3 상의 로그를 직접 Amazon ElasticSearch 안에 로드하여 인덱싱하고 검색 엔진의 형태로 사용할 수도 있고, 하둡 서비스인 Amazon EMR로 로드하여 배치 작업을 수행할 수도 있다. Amazon EMR에서 정제된 데이터는 다시 Amazon Redshift와 같은 데이터 웨어하우징 서비스에 로드되어 사용하고 있는 BI 도구를 통해 데이터 분석을 할 수 있다.
이번 호에서는 클라우드가 어떻게 디지털 미디어 환경에서 사용되고 있는지를 살펴보았다. 기술적인 설명이 조금은 어려웠을 수 있다. 하지만 중요한 것은 다양한 미디어 기업들이 다양한 부분에 클라우드를 적용하고 있다는 점이다. 점점 더 많은 핵심 업무들이 클라우드에서도 유연하게 사용될 수 있다는 점을 기억하고 국내 미디어 산업에서도 더욱 활발한 클라우드 도입이 이뤄지기를 바란다.
다음 호에서는 간단한 실습을 통해 AWS를 활용한 미디어 스트리밍을 실제로 구성해 보는 예제 중심으로 설명해 보고자 한다.
김기완 솔루션즈 아키텍트는 IBM에서 15년간 여러 기술 분야 업무를 수행하였으며 메인프레임 및 유닉스 운영체제, 데이터베이스 및 각종 미들웨어와 다양한 애플리케이션에 이르기까지 엔터프라이즈 고객들과 다양한 환경에서 많은 경험을 가지고 있다. 폭넓은 기반 지식과 이러한 고객 경험을 바탕으로 방송/미디어 그리고 다양한 엔터프라이즈 고객들의 AWS로의 여행을 돕고 있다.
