Grass Valley 및 Harmonic 등 주요 방송기술 전문 기업인 ㈜재인엠엔씨는 Camera Tracking Solution으로 유명한 영국의 mo-sys와 총판 계약을 맺고, AR/VR 시장에 솔루션을 제공한다.
현재 해외 방송사에서는, 미디어 환경 변화에 맞춰 세계 유수의 시장조사 기관인 가트너(GARTNER)에서 발표한 ‘2019년 10대 전략 기술 트렌드’ 中 *몰입 경험(Immersive Experience) 몰입 경험(Immersive Experience) : GARTNER가 발표한 2019 10대 전략 기술 中 하나, 사용자가 디지털을 인식하는 방식(VR, AR 등)에 많은 변화가 따를 것으로 단순히 증강현실(AR)과 같은 경험을 의미하는 것이 아니라 AI를 접목해보다 향상된 경험과 서비스를 제공할 것이라고 전망.
향상에 AR과 VR 기술을 스포츠 중계, 날씨, 공연 등에 접목하여 시청자에게 쉽고 정확한 정보 전달과 재미를 선사하고자 노력 중이다.
국내 미디어 역시 스포츠 중계, 날씨, 선거방송 등 AR/VR이 사용되나, 이벤트성으로 한시적 사용이 대부분이다. 이는 기술적으로 구현이 번거롭고, 3D 객체의 디자인에 인력과 시간이 필요하기 때문이다. 이러한 AR/VR 기술을 좀 더 쉽게 구현하기 위해 mo-sys의 Camera Tracking 솔루션을 4월, 5월 총 2회에 걸쳐 소개하고자 한다.
AR/VR에서 카메라를 통해 보이는 가상의 객체들은 모두 실제로 존재하는 것처럼 보여야 한다. 그러기 위해서는 객체와 카메라 사이의 거리감이 절대적으로 필요한 부분이다. 예를 들어, 어떠한 물건을 CG를 통해 가상으로 구현하고 Camera로 촬영 시 보이는 CG는 Camera의 움직임에 따라 가까이 가면 확대되고, 멀어지면 작게 보여야 한다. 그런 거리감을 AR/VR에서는 Camera Tracking Data를 통해 쉽게 만들어 낼 수 있게 되는 것이다. mo-sys의 StarTracker는 Camera Tracking Data 만들고 전송하는 장비이다. 구성품으로는, 크게 3가지로 구분할 수 있다.
– 천장에 붙이는 Star 스티커
– Star를 인식하는 Sensor Unit
– Tracking Data를 생성 및 전송하는 Processor unit
작동 원리는, 천장에 부착한 Star를 Sensor Unit이 인식하고, Processor가 인식 값을 기반으로 Tracking Data로 변환 후, UDP로 Graphic Engine에게 보낸다. (Camera와 Tracking System의 동기화를 위해 Gen Lock으로 연결.) Graphic Engine에서는 Live Video와 CG, Tracking Data를 통해 AR/VR 화면을 만들어 낸다.
쉽게 말해, 천장의 Star를 통해 Camera 위치를 정확히 알 수 있다는 얘기이다. 이것은 AR/VR 기술에서 가상의 객체와 거리감 또는 공간감을 주는 중요한 부분이다. Post Production의 경우, 레코딩 Video에 여러 번의 수정을 거쳐, 객체의 정확한 위치 값을 표현할 수 있으나 렌더링의 시간이 오래 걸리는 단점이 있다. Live 환경의 경우, 객체의 위치가 조금이라도 변하거나, 약간의 Drift가 발생한다면, 어색한 화면을 마주하게 될 것이다.
이 두 가지의 문제점에 대한 방안은 Camera Tracking Data를 받아 객체의 위치를 절대값으로 고정하는 것이다. 그렇게 되면, Live 환경에서는 Drift가 없는 완벽한 AR을 구현할 수 있으며, 후반 작업에서는 Recording 된 Tracking Data를 받아 적용하면 빠르게 객체의 위치를 지정하고, 사용하여 작업시간을 최소화할 수 있다.
이처럼, Tracking Data는 AR/VR 환경에 굉장히 중요한 부분이다. 해외 전시를 통해 여러 Tracking System을 직접 경험해 보고 관련 기술에 관해 알아보던 중에 타사의 Tracking System의 경우, 조명의 밝기에 의해 Tracking Data가 손상되는 경우를 볼 수 있었다.
StarTracker의 경우 Star를 통해 Tracking Data를 받기 때문에 조명이 밝거나 어두울 때, 심지어 조명이 완전히 꺼진 깜깜한 스튜디오 내에서도 정확한 객체의 위치 표현이 가능하다.
또한, 카메라의 위치 값뿐만 아니라, 카메라의 Pan, Tilt, Roll, Zoom, Focus까지 Tracking Data로 보내져 자유로운 카메라 움직임으로 현장감 있는 AR/VR을 구현할 수 있다.
StarTracker는 카메라나 외부의 지원 또는 영향을 받지 않고, Data를 위한 인코딩이 필요 없다. 정확한 Tracking Data를 가지고 작업한다면, 어떠한 AR/VR 환경에서도 쉽고 빠르게 재미있고 신기한 결과물을 얻을 수 있다.
이번 리뷰를 통해 AR/VR 환경에서의 Tracking Data의 중요성 알았다면, ‘방송과기술’ 5월 리뷰를 통해 좀 더 자세한 사용방법과 실제 적용 사례에 대해 알아보도록 하자.
