유재근 퀀텀코리아 실장
스토리지 인프라에 대한 요구사항 증가
영상 콘텐츠 수요 증가, 해상도 및 프레임 증가, 필요한 동시 액세스 수 증가, 빠듯한 제작 일정과 같은 M&E 동향은 그 어느 때보다 더 직접적인 결과로 이어진다.
다행히도 M&E 산업에 요구되는 작업량이 증가함에 따라 스토리지 기술 또한 발전하고 있다. 따라서 각 조직의 고유한 요구사항에 맞춰 스토리지 솔루션을 설계하고 구성하는 것이 중요하다. ‘모든 환경에 적합’한 스토리지 인프라는 없다. 각각의 환경에 최적화된 워크플로우 기반을 구축할 수 있도록 드라이브 유형, 스토리지 어레이 용량, 네트워크 토폴로지, 파일 시스템 성능 조정과 같은 다양한 요소들이 매개변수로 구성될 수 있다.
올바른 선택을 하는 것은 전반적인 기업 비즈니스의 생산성, 수익성, 유연성에 중대한 영향을 미친다. 본 백서에서는 스토리지 인프라의 가장 중요한 측면 중 하나인 네트워크 선택에 대해 자세히 다루고 있다.
스토리지 솔루션 구축에 따른 네트워크 옵션
네트워크 선택은 스토리지 인프라의 전반적인 성능과 비용 효율성에 근본적인 영향을 미친다. 본 백서에서는 가장 대중적인 이더넷 기반의 프로토콜을 사용하는 NAS(Network-Attached Storage)와 Fibre Channel(FC)을 사용하는 SAN(Storage Area Network)에 대해 그리고 세 번째 대안이 될 수 있는 퀀텀의 독점적인 LAN 클라이언트인 DLC(Distributed LAN Client)의 성능과 비용 또한 다루고 있다.
NAS
네트워크에 연결된 저장장치인 NAS 스토리지는 네트워크에 연결된 파일 수준의 서버이다. 허용된 네트워크 사용자와 이기종 클라이언트의 중앙 위치에서 데이터를 검색할 수 있으며 컴퓨터 네트워크를 통해 여러 사람이 파일을 공유할 수 있도록 설계되었다. NAS는 일반적으로 NFS 및 SMB와 같은 네트워크 파일 공유 프로토콜을 통해 파일에 대한 액세스를 제공하며 IP를 통해 클라이언트가 스토리지 리소스에 액세스 할 수 있도록 해준다.
SAN
스토리지 전용 네트워크인 SAN은 상호 연결 가능한 블록 수준 데이터 스토리지에 대한 액세스를 제공하는 전용 고속 네트워크이다. SAN은 스토리지 리소스를 고성능 네트워크로 구성하여 각 클라이언트가 서버에 직접 연결된 드라이브인 것처럼 공유 스토리지에 액세스할 수 있게 한다. 일반적으로 SAN은 연결된 장치가 SCSI 프로토콜을 사용하여 SAN 디스크 드라이브 장치와 통신하는 별도의 네트워크이다. 네트워크는 SAS/SATA 패브릭을 사용하여 구성되거나 Fibre Channel을 통해 SCSI를 매핑하는 FCP(Fibre Channel Protocol)나 TCP/IP를 통해 SCSI를 매핑하는 iSCSI와 같은 다른 프로토콜에 레이어를 매핑한다.
DLC
StorNext 용량에 대한 LAN 기반 액세스를 지원하는 고급 데이터 공유 기능으로 만들어진 Distributed LAN Client(DLC)는 클러스터드 게이트웨이 시스템을 통해 StorNext 용량에 연결하다. 이는 본질적으로 StorNext File System 환경을 솔루션처럼 ‘클러스터드 NAS’로 전환하는 것이다.
평가 기준 설립하기
각 스토리지 인프라를 세부적으로 비교하기 전에 평가 기준을 설립하는 것이 중요하다. 본 백서에서는, 다양한 네트워크 아키텍처 선택 시 고려해야 할 5가지 주요 사항에 대해 다루고 있다.
성능
높은 수준의 성능을 유지하기 위한 스토리지 솔루션의 기능은 여러 측면에서 매우 중요하다. 애플리케이션이 제대로 실행될 수 있는 기반을 제공할 뿐 아니라 직원 생산성에도 직접적인 영향을 미치기 때문이다. 네트워킹의 관점에서, 성능은 대기 시간과 대역폭으로 평가될 수 있다. 대부분의 워크플로우에서는 이 두 가지의 조합이 필요하지만, 특정 애플리케이션에서는 하나의 요소가 보다 많은 비중을 차지하기도 하다. 궁극적으로 스토리지 아키텍처가 다양한 만큼 지연 시간과 처리량의 조합 또한 다양하게 구성되기 때문에 어떠한 네트워크 옵션이 특정 워크플로우에 가장 이상적인지 판단하는 것에 중요한 영향을 끼친다.
확장성
새로운 경쟁 또는 새로운 시장의 등장으로 인해 현대 비즈니스에서 비즈니스 유연성은 그 어느 때보다 더욱 요구되고 있다. 기업이 의존하는 애플리케이션 지원을 위한 핵심 기술 기반으로서 스토리지 솔루션은 이러한 비즈니스 혁신에 맞춰 확장될 수 있어야 한다. 다운타임 없이 더 많은 용량을 추가할 수 있는 기능과 더불어 성능, 클라이언트 또는 완전히 새로운 제작 사이트를 추가하려면 네트워크의 일부 요소가 필요하다. 하지만 일부 네트워크 옵션은 다른 네트워크보다 확장이 쉬우며, 다른 네트워크에서는 인프라를 업그레이드하지 않고도 추가 사용자 또는 성능 요구사항을 지원할 수 있다.
안정성
대부분의 기업에서 스토리지 솔루션은 비즈니스 결과를 생성하는 기본 워크플로우를 지원하는 기술 기반이다. 포스트 프로덕션 제작사에서 과거의 영상물을 리마스터링하거나 애니메이션 스튜디오에서 할리우드 블록버스터 영화에 시각 효과를 더하는 작업도 여기에 포함된다고 볼 수 있다. 따라서 기술이 최종 결과물과 얼마나 상호 연결되어 있는지를 고려해보면 안정성과 관련된 모든 사항은 전반적인 비즈니스에 직접적이고 즉각적인 영향을 미친다. 다행히도 네트워크는 그 어느 때보다 안정적이다. 하지만 여기에도 차이점은 있으며 그 차이점에 대에서는 다음 섹션에서 다루고 있다.
관리 용이성
대다수의 기업은 전 직원에게 이전보다 더 많은 업무를 수행하도록 요청하고 있기에 IT 관점에서 그 결과가 확연하게 보일 수 있다. 또한 사용자의 증가하는 요구에 맞춰, 스토리지 관리자는 여러 위치에서 공유되는 중앙 환경을 관리해야 하며, 프라이빗 클라우드와 퍼블릭 클라우드 모두를 포함한 다수의 스토리지 계층을 보유해야 한다. 스토리지 인프라 네트워크 관리는 전체 작업의 중요한 구성요소로, 특히 추가 사용자와 용량이 요구되고 많은 시간이 소요되는 다양한 작업에 영향을 끼친다. 따라서 본 백서에서 다루고 있는 네트워크 옵션에 대한 비교 방법을 이해하는 것은 올바른 선택에 있어서 매우 중요하다.
비용
마지막으로, 비용은 조직에 가장 적합한 스토리지 아키텍처와 구성을 결정하는 주요 요인이다. 네트워크 옵션은 스토리지 미디어 다음으로 스토리지 인프라에서 가장 큰 비용을 차지하기 때문에, 다양한 네트워크 옵션의 실행 가능성에 대해 논의할 때 특히 중요하다. 이와 관련된 결정은 수십만 달러의 투자가 달려있기 때문에 대규모 환경에 적합하다. 마지막으로 일부 네트워크 옵션은 다른 옵션보다 관리하기가 쉬워 비용뿐 아니라 운영적인 면도 고려해야 한다.
올바른 선택하기 : 상세 비교
앞서 논의한 평가 기준에 따라 다음 세 가지의 네트워크 옵션의 장단점에 대해 알아보겠다.
NAS
지난 몇 년 동안 이더넷 네트워크의 엄청난 성능 향상으로 대부분의 일반적인 M&E 워크플로우에 적합해졌으며 관리 용이성이 입증되어 오늘날 세계에서 가장 널리 구축된 스토리지 아키텍처로 자리매김하고 있다.
관리 용이성뿐 아니라, 스토리지 솔루션에서 비용이 주요 고려사항일 때에도 NAS는 큰 이점을 가지고 있다. IP 인프라 자체의 비용이 파이버 채널에 비해 현저히 낮을 뿐만 아니라 관리 비용까지 낮다. 낮은 관리 비용의 요인 중 하나는 적격의 네트워크 엔지니어가 이미 조직에 종사하고 있거나 고용시장에서 쉽게 찾을 수 있기 때문이다.
마지막으로 관리 용이성 측면에서 볼 때 NAS는 어플라이언스로 간주하며 SAN에 비해 하드웨어와 소프트웨어의 관리 구성요소가 적다. 또한 스토리지 관리자는 값비싼 스위치나 소프트웨어의 2차 계층이 없이도 로드 밸런싱을 수행할 수 있다.
균형 잡힌 IP 기반의 스토리지 솔루션에는 NAS가 적합하다. 하지만 까다로운 워크플로우 환경에서는 NAS보다 다른 아래의 두 가지 네트워크 옵션이 성능 면에서 월등하다. 특히 지연 시간을 기준으로 SAN 기반의 솔루션과 비교했을 때는 더욱 성능 차이가 난다. 따라서 까다로운 워크플로우를 지원하는 스토리지 환경에서는 다른 아키텍처가 더 적합할 수 있다.
SAN
세 가지 네트워크 옵션 중 역사적 선두주자인 SAN은 스토리지 트래픽, 특히 리치 미디어 콘텐츠에 최적화되어 단일 컨트롤로 여러 디스크 및 테이프 장비를 공유 풀로 관리하도록 설계되었다. 파이버 채널은 기본적으로 높은 대역폭과 낮은 지연 시간을 갖춘, 포트 속도 값에 대해 가장 효율적이고 빠른 프로토콜이다. 또한 SAN이 처음부터 SCSI 프로토콜을 통해 SAN 디스크 드라이브 장치와 통신하는 스토리지 아키텍처로 구축되었기 때문에 파일 시스템 계층에 대한 제약이 따르지는 않는다.
SAN의 또 다른 장점은 확장성이다. SAN은 스토리지 관리자가 성능과 용량을 여러 구성으로 손쉽게 확장할 수 있는 네트워크 아키텍처이다.
반대로 SAN의 큰 단점은 바로 증가하는 SAN 관리 비용이다. SAN 기반의 스토리지를 관리할 수 있는 숙련된 엔지니어가 많지는 않다. 하지만 개별 호스트의 오버헤드가 낮아 꼭 단점이라고 볼 수는 없다. 게다가 적은 비용으로 쉽게 NVMeOF 스토리지를 기존 SAN에 구현할 수 있도록 최근 6세대 파이버 채널 스위치로 업그레이드가 되었다.
DLC
DLC는 NAS보다 뛰어난 성능을 갖췄지만 SAN에 비해 낮은 관리비용의 네트워크 옵션으로 다양한 장점을 지니고 있다. 성능 면에 있어서, DLC는 전통적인 구리 인프라에 비해 높은 성능을 제공하며 와이어 속도에 가까운 처리량을 제공한다. 퀀텀의 엔지니어링 테스트 센터의 내부 테스트 결과, 40GbE 이상의 DLC가 단일 연결에서 NFS보다 128% 향상된 성능과 SMB보다 250% 빠른 속도를 보였다. 게다가 DLC는 성능은 증가시키고 NFS 또는 CIFS 전송 관련 오버해드는 감소시키는 고유 블록 I/O를 사용하여 구축되기 때문에, DLC에서 전송되는 각 I/O의 전송 사이즈를 서버에서 조절 가능하다. 궁극적으로는 매우 효율적인 데이터 스트리밍으로 전환된다.
안정성을 확보하기 위해 DLC 연결 클라이언트는 고유 서버 또는 분산 서버 구성을 활용한다. 이 경우에 여러 서버가 구현되면 데이터 I/O는 서버들로 분산되어 서버 간 워크로드의 균형을 맞춰준다. 서버 장애가 발생하면, 나머지 서버들은 워크로드를 회수하여 분포한다. 이를 통해 유연성과 제어력이 확보된다. 내부 실험 테스트를 통해 DLC는 NFS 또는 CIFS와 같은 다른 LAN 옵션보다 향상된 복원력을 제공하고 패스 페일오버(path failover)를 통해 서비스의 중단 없어, 온라인 가용성이 보장되는 것을 확인할 수 있었다.
DLC에는 두 가지 미묘한 단점이 있다. 첫째로는 SAN 기반 솔루션의 지연 시간 특성과 일치하지 않아, 까다로운 영상 애플리케이션에서는 SAN이 보다 적합하다. 둘째로 네트워크 엔지니어와 스토리지 관리자에게 여전히 이 기술이 생소하여 배치 및 관리 부분에 익숙해지는 데에 다소 시간이 걸릴 수 있다. 하지만 한번 이 기술에 익숙해지면 DLC는 NAS 기반 솔루션과 동일하게 관리가 용이해진다.
M&E 워크플로우 구축 사례
지금까지 각각의 장단점에 대해 알아보았으니 M&E의 구축사례를 통해 실용적인 면을 알아보겠다. 일반적인 사례를 통해 특정 워크플로우 요구사항에 맞는 최적의 네트워크 구성을 선택이 보다 쉬워져, 투자 가치가 극대화될 것이다.
다음은 각각의 스토리지 인프라에 어떠한 구축사례가 적합한지 설명하고 있다.
NAS
이전에 언급된 것처럼, NAS는 성능과 비용면에서 광범위한 M&E 구축사례에 적합하다. 오프라인 편집, 변환, 2D 작업, VFX 그리고 많은 사용자를 지원하는 렌더 팜을 사용하는 애니메이션에서는 처리량 또는 지연 시간에 대해 평균 이상의 성능이 요구되지 않다. NAS는 방송에서 흔히 볼 수 있는 대규모 액티브 아카이브 콘텐츠 리포지터리에 대한 액세스를 제공하거나 S3를 통한 웹 애플리케이션 인제스트를 제공하기 위한 게이트웨이로 적합하다.
SAN
편집 애플리케이션 실행되어야 하는 고성능 스토리지 인프라가 필요한 영상 전문가가 첫 번째로 선택하는 SAN은 높은 대역폭을 제공하여 대규모 워크플로우에 적합하다. 비압축 고해상도 4K 또는 8K 형식에서는 종종 초당 10GB 이상의 대역폭이 요구되기도 하다. 또한 공유/협업 환경에서 다수의 압축 비디오 스트림과 동시 스트림이 실행되어야 할 때 필수적인 짧은 지연시간이 제공된다. 또한 일반적으로 클라이언트 기반 세션에서, 실시간 성능을 유지하기 위해 대기 시간이 짧아야 하는 즉각적인 데이터 스트림이 요구되는 영상 애플리케이션에도 SAN이 이상적이다.
DLC
DLC는 같은 비용으로 NAS에 비해 높은 성능을 제공하여 점점 보편화하는 까다로운 워크플로우를 지원할 수 있다. 구체적으로는 고객 인프라에 맞춰 설계된 구성에 대한 적합성 부분과 NFS 또는 SMB 이상의 액세스 처리량 부분에서 다른 옵션들보다 확연한 차이를 보이다.
DLC의 우수 사례로는 과거 영상 4K 리마스터링 작업, 압축되지 않은 고해상도의 영상 편집, 압축되지 않은 낮은 프레임률의 실시간 영상 편집 그리고 압축된 멀티스트림 영상 편집 등이 있다. 파일 단편화를 감소시키는 StorNext의 파일 배분 기능을 통해 NAS에 비해 영상 애플리케이션의 프레임 손실을 줄이는 DLC의 고유한 기능 때문에 특히 후자의 사례에 더욱 적합하다.
또한, 하이앤드 애니메이션과 가상 현실 콘텐츠 개발용 애플리케이션 작업과 같은 메모리 및 GPU 기반의 애플리케이션은 DLC의 니어라인 속도성능과 DLC 소프트웨어로 연결된 이더넷을 통해 애플리케이션을 구동할 때 눈에 띄게 개선된 상호작용한다. 마지막으로 DLC는 블록 수준의 연결된 클라이언트가 필요한 환경에 적합하다.
미래 동향
전 세계 모든 기술과 마찬가지로 네트워크 세계에서도 환경이 끊임없이 변화하고 있다. 그리고 대부분의 스토리지 솔루션은 3년에서 5년간 유지되기 때문에 미래 동향에 대해 이해하는 것은 조직의 의사결정 과정에 있어 매우 중요하다.
NAS
오늘날 지배적인 네트워크 아키텍처로서 IP 기반의 네트워크는 미래에 대한 강력한 로드맵을 가지고 있다. 100GbE의 등장은 네트워크가 더욱 많은 워크플로우에 적합하도록 하드웨어 벤더가 지속적으로 투자를 하고 있다는 증거이다. 제조사 수와 시장규모를 고려할 때 비용은 낮추고 제품 로드맵을 가속화하는 데에도 영향을 주고 있다.
SAN
한때 영상 전문가의 1순위였으며 네트워크 분야의 선두주자였던 SAN은 NAS로 인해 점차 시장 점유율을 잃어가고 있으며, 많은 사용자는 파이버 채널 인프라의 확장을 꼭 필요한 워크플로우에만 적용하는 것으로 제한하고 있다. 하지만 초당 128Gb의 스위치와 스토리지 인프라가 지원되며 네트워크 옵션 중 가장 낮은 지연 시간을 제공하는 SAN은, 주요 포스트 프로덕션과 방송사에서 여전히 강력한 사용자 기반의 아키텍처이다.
DLC
DLC는 IT팀의 기준이 된 NFS와 SMB로 인해 아직 액세스용 프로토콜로 자리 잡고 있지 못하고 있다. 하지만 IT가 점점 영상 제작에 개입됨에 따라, 단일 네트워크 케이블에서 고성능과 비교적 쉬운 구성이 제공되는 DLC는 점점 경쟁력 있는 네트워크 옵션이다.
DLC가 성능과 가치의 최상의 조합 중 하나로 자리매김할수록 더욱 많은 고객이 DLC를 도입하고 있다. 또한 DLC는 진보하는 파이버와 이더넷 기술의 장점을 누릴 수 있는 유일한 네트워크 옵션으로 미래 스토리지 인프라에 대한 증가하는 요구사항 충족시킬 수 있는 유리한 위치에 있다. 더욱이 Linux, Windows 및 MacOS에 걸친 네이티브 호환성 보장을 위해 이 기술에 대한 상당한 엔지니어링 투자가 이루어지고 있다.
결론
NAS, SAN, DLC의 차이만큼 선택 또한 중요하다. 단순히 비즈니스 요구 사항에 맞는 최적의 스토리지 아키텍처를 선택하는 것 이상으로, 스토리지 솔루션이 네트워크 선택에 있어 유연성을 확보하는 것이 중요하다. StorNext 기반의 스토리지 솔루션은 세 가지 네트워크 옵션 중 선택할 수 있는 몇 안 되는 대안 중 하나로 실제로 여러 네트워크 구성을 동시에 지원하다. 공유 파일 환경에 대한 포괄적이고 공동 액세스를 제공하는 기능은 조직의 필요에 맞춰 가장 비용 효율적인 스토리지 솔루션을 지원하는데 매우 중요하다.
