周進(jìn) 張虎

摘 要 4K等高分辨率素材正成為影視動(dòng)畫后期制作的主流，4K等高分辨率的優(yōu)勢(shì)不言而喻，但對(duì)存儲(chǔ)速度、容量以及穩(wěn)定性的要求達(dá)到前所未有的高度。本文提出基于大魚集群存儲(chǔ)系統(tǒng)的4K高分辨率后期制作網(wǎng)存儲(chǔ)方案，結(jié)合客戶度高速SSD緩存，能夠通過性價(jià)比最好的解決方案達(dá)到的4K等高分辨率后期制作的要求。

關(guān)鍵詞 存儲(chǔ) 4K 視頻圖像 后期制作

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.16400/j.cnki.kjdks.2016.03.016

Abstract 4K high-resolution material is becoming the mainstream film and television post-production animation， 4K resolution and other advantages of self-evident， but the memory speed， capacity， and stability required to achieve an unprecedented height. This paper presents a high-resolution 4K post production network based storage solutions fish clustered storage systems， combined with customer-degree high-speed SSD caching， through cost-effective solutions to achieve the best resolution 4K post-production and other requirements.

Key words store； 4K； video； post-production

當(dāng)前，隨著用戶需求和相關(guān)技術(shù)的發(fā)展，4K正在逐漸替代高清成為影視動(dòng)畫制作的主流技術(shù)。4K技術(shù)的優(yōu)勢(shì)不言而喻，提供了接近膠片的畫質(zhì)；更高的畫面層次感以及更豐富的細(xì)節(jié)表現(xiàn)，大大提升了用戶觀賞體驗(yàn)。但4K視頻生產(chǎn)卻使得IT基礎(chǔ)架構(gòu)面臨了巨大的挑戰(zhàn)，首當(dāng)其沖的便是存儲(chǔ)子系統(tǒng)。由于影視動(dòng)畫視頻生產(chǎn)的本質(zhì)是數(shù)據(jù)處理，從前期的視頻拍攝或動(dòng)畫制作，到后期的合成、編輯和發(fā)布，整個(gè)流程圍繞著視頻圖像數(shù)據(jù)的存儲(chǔ)而展開。因此，存儲(chǔ)系統(tǒng)是整個(gè)IT基礎(chǔ)設(shè)施的核心，特別是在4K環(huán)境下，級(jí)數(shù)增長(zhǎng)的視頻圖像數(shù)據(jù)更讓存儲(chǔ)系統(tǒng)成為影響影視動(dòng)畫生產(chǎn)效率的關(guān)鍵因素。

1 4K視頻圖像制作的存儲(chǔ)需求

眾所周知，4K視頻圖像生產(chǎn)的核心問題是巨大的數(shù)據(jù)量。以前期拍攝為例，無壓縮的4K視頻圖像數(shù)據(jù)量可超過300MB/s，某些特殊場(chǎng)景需要更高的幀率，數(shù)據(jù)量則可能達(dá)到GB/s。一個(gè)電影的制作過程中，累計(jì)的數(shù)據(jù)量可能達(dá)到幾百TB。對(duì)于大型的4K視頻圖像制作機(jī)構(gòu)，通常有大量的歷史數(shù)據(jù)，并且通常有多個(gè)項(xiàng)目同時(shí)進(jìn)行，配置PB級(jí)的存儲(chǔ)設(shè)備才可能有效保證視頻生產(chǎn)正常進(jìn)行。因此，容量及其擴(kuò)展能力是4K視頻圖像生產(chǎn)環(huán)境中非常重要的存儲(chǔ)需求。

與此同時(shí)，4K后期制作對(duì)存儲(chǔ)性能的要求極其嚴(yán)苛，4倍于高清的碼率，各種復(fù)雜的特效，通常需要多層編輯，導(dǎo)致存儲(chǔ)帶寬需求數(shù)倍增長(zhǎng)，對(duì)于一些場(chǎng)景，使用萬(wàn)兆接口的網(wǎng)絡(luò)存儲(chǔ)設(shè)備都可能無法滿足編輯的帶寬需求；另一方面，在網(wǎng)絡(luò)化的制作環(huán)境中，多個(gè)編輯節(jié)點(diǎn)，多種業(yè)務(wù)共享存儲(chǔ)資源，并發(fā)地訪問存儲(chǔ)系統(tǒng)，對(duì)存儲(chǔ)子系統(tǒng)的最大輸出性能和擴(kuò)展能力都提出了極高的要求。另外，值得特別指出的是，視頻圖像編輯不但要求極高的存儲(chǔ)帶寬，還對(duì)存儲(chǔ)訪問延遲有特殊要求，不但要滿足視頻編輯中的低延遲要求，還需要延遲的表現(xiàn)穩(wěn)定，否則，可能出現(xiàn)卡頓、丟幀等情況，極大影響編輯人員的工作體驗(yàn)。

現(xiàn)代視頻圖像生產(chǎn)更加呈現(xiàn)工業(yè)化的特征，擁有更大的制作團(tuán)隊(duì)，更詳細(xì)的業(yè)務(wù)分工，強(qiáng)調(diào)生產(chǎn)流程中各個(gè)環(huán)節(jié)的緊密協(xié)作與交互，因此，在IT基礎(chǔ)架構(gòu)設(shè)計(jì)時(shí)，有必要構(gòu)建基于共享存儲(chǔ)系統(tǒng)的視頻制作網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)在不同的業(yè)務(wù)之間、不同節(jié)點(diǎn)之間高度共享，加速數(shù)據(jù)在不同業(yè)務(wù)間的流轉(zhuǎn)速度，提升整個(gè)視頻生產(chǎn)效率。同時(shí)，保證共享存儲(chǔ)系統(tǒng)的可靠性和可用性也極為重要，否則，共享存儲(chǔ)系統(tǒng)的故障將造成整個(gè)視頻圖像生產(chǎn)的中斷，并可能造成重要視頻圖像素材的損失。

綜上所述，在4K視頻圖像生產(chǎn)中，存儲(chǔ)系統(tǒng)所面臨的挑戰(zhàn)可歸納為：（1）極高的性能要求：穩(wěn)定的高帶寬和低延遲；（2）具有高可擴(kuò)展能力：按需擴(kuò)展的海量存儲(chǔ)系統(tǒng)；（3）數(shù)據(jù)的安全共享：支持多種平臺(tái)、業(yè)務(wù)的數(shù)據(jù)共享，高可靠/高可用數(shù)據(jù)存儲(chǔ)。

2 現(xiàn)有存儲(chǔ)方案及分析

為了應(yīng)對(duì)上述4K視頻圖像制作中的存儲(chǔ)需求，人們嘗試了多種存儲(chǔ)方案，但就目前的實(shí)際應(yīng)用效果來看，還未能找到一種滿足上述所有存儲(chǔ)要求、切實(shí)可行的存儲(chǔ)方案。比較常見的幾種方案均存在著各種問題：

2.1 單機(jī)存儲(chǔ)方案

在小型的制作環(huán)境中，單個(gè)編輯機(jī)配置內(nèi)置高速SSD或者直連磁盤陣列的方式比較常見，當(dāng)前的高端SSD設(shè)備的讀寫性能可以滿足4K制作的需求，但是SSD價(jià)格昂貴，容量有限，制作時(shí)常受限于容量，會(huì)有頻繁的數(shù)據(jù)導(dǎo)入/導(dǎo)出的操作，嚴(yán)重影響制作效率。高速磁盤陣列可以做到較大容量，但是性能有限。無論采用哪種方式，單機(jī)存儲(chǔ)方案都只能支持單機(jī)操作，數(shù)據(jù)共享十分困難，另一方面，存儲(chǔ)空間受限于存儲(chǔ)架構(gòu)，難以擴(kuò)展，無法支持大規(guī)模的工業(yè)化視頻圖像生產(chǎn)。更為嚴(yán)重的潛在問題是，SSD和磁盤陣列損壞可能造成難以彌補(bǔ)的數(shù)據(jù)丟失，制作的穩(wěn)定性和數(shù)據(jù)的安全性都存在很大問題。

2.2 傳統(tǒng)高端存儲(chǔ)方案

傳統(tǒng)高端存儲(chǔ)系統(tǒng)（SAN/NAS）具有一定程度的容量和性能的擴(kuò)展能力，并切實(shí)實(shí)現(xiàn)了數(shù)據(jù)的高效共享，在高清時(shí)代是行之有效的視頻制作網(wǎng)存儲(chǔ)解決方案，然而，4K環(huán)境下，傳統(tǒng)存儲(chǔ)設(shè)備的缺點(diǎn)也暴露無遺：

首先，單機(jī)存儲(chǔ)性能受限于網(wǎng)絡(luò)接口速度，傳統(tǒng)的千兆網(wǎng)絡(luò)、2G/4G光纖接口都幾乎無法滿足4K視頻圖像編輯的需求。其次，當(dāng)采用更高速度的存儲(chǔ)網(wǎng)絡(luò)，如萬(wàn)兆、8G/16G光纖接口時(shí)，雖然可以滿足單機(jī)的性能需求，但傳統(tǒng)存儲(chǔ)系統(tǒng)受限于體系架構(gòu)，在性能上擴(kuò)展能力極其有限，因而無法支持大規(guī)模的4K視頻圖像制作。

其次，雖然數(shù)據(jù)可以通過網(wǎng)絡(luò)共享，但是受限于接口速率，幾乎無法進(jìn)行在線編輯，只能將素材下載到配置有高速單機(jī)存儲(chǔ)設(shè)備的編輯機(jī)上進(jìn)行編輯，并在制作完成后將結(jié)果上傳至中心存儲(chǔ)，中心存儲(chǔ)設(shè)備的作用退化成簡(jiǎn)單共享存儲(chǔ)，數(shù)據(jù)共享效率低下，無法有效開展協(xié)同作業(yè)。另一些4K視頻制作流程中使用了低碼率的代理碼進(jìn)行實(shí)時(shí)編輯，并根據(jù)編輯結(jié)果下載4K最終結(jié)果視頻，這樣雖然避免了4K所造成的性能壓力，實(shí)現(xiàn)了實(shí)時(shí)編輯，但犧牲了編輯質(zhì)量，是一個(gè)不得已的折衷方案。

最后，在4K視頻圖像制作網(wǎng)的規(guī)模一定的情況，通過升級(jí)硬件設(shè)備，傳統(tǒng)存儲(chǔ)系統(tǒng)也可以滿足上述既定的存儲(chǔ)需求，但是，整個(gè)存儲(chǔ)系統(tǒng)的擁有成本難以控制，系統(tǒng)擴(kuò)展也十分困難。

2.3 分布式存儲(chǔ)方案

分布式存儲(chǔ)系統(tǒng)以良好的可擴(kuò)展能力著稱，整個(gè)存儲(chǔ)系統(tǒng)的聚合存儲(chǔ)性能和容量均可在線擴(kuò)展。相對(duì)于傳統(tǒng)高端存儲(chǔ)方案，可以有效解決海量數(shù)據(jù)不斷增長(zhǎng)所帶來的容量問題。而且，對(duì)于普通高清制作，當(dāng)前網(wǎng)絡(luò)接口也可以做到以較低成本實(shí)現(xiàn)存儲(chǔ)系統(tǒng)聚合帶寬的在線擴(kuò)展，可以很好滿足普通高清制作網(wǎng)的需求。但對(duì)于4K視頻圖像制作，它與傳統(tǒng)存儲(chǔ)面臨同樣的單機(jī)存儲(chǔ)性能問題，同時(shí)，分布式存儲(chǔ)系統(tǒng)的訪問延遲也更難控制，很難達(dá)到4K制作時(shí)所要求的穩(wěn)定的超高帶寬和低延遲。

3 大魚集群存儲(chǔ)系統(tǒng)方案

針對(duì)4K視頻制作的存儲(chǔ)需求以及當(dāng)前幾種存儲(chǔ)方案的問題，北京電影學(xué)院數(shù)字合成與大數(shù)據(jù)實(shí)驗(yàn)室進(jìn)行了充分研究，并提出了基于大魚集群存儲(chǔ)系統(tǒng)的4K視頻圖像制作網(wǎng)絡(luò)存儲(chǔ)方案。

大魚集群存儲(chǔ)系統(tǒng)是構(gòu)建于通用硬件之上的高性能、高可靠、高可擴(kuò)展的新型分布式存儲(chǔ)系統(tǒng)，其核心是大魚分布式文件系統(tǒng)軟件（DayuFS），用戶可以采用通用服務(wù)器、普通的SATA/SAS硬盤以及主流以太網(wǎng)絡(luò)來構(gòu)建媲美傳統(tǒng)企業(yè)級(jí)存儲(chǔ)產(chǎn)品的海量存儲(chǔ)系統(tǒng)。DayuFS的基本原理是以軟件方式整合物理集群中多個(gè)獨(dú)立節(jié)點(diǎn)上的存儲(chǔ)資源，組成具有單一文件系統(tǒng)映像的存儲(chǔ)空間；并通過良好設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)分布策略，保證系統(tǒng)性能的高可擴(kuò)展性，支持存儲(chǔ)容量/性能的在線擴(kuò)展。同時(shí)，DayuFS中采用多副本的方式保證數(shù)據(jù)的高可用性，任意單一節(jié)點(diǎn)失效均不會(huì)導(dǎo)致數(shù)據(jù)丟失和數(shù)據(jù)服務(wù)的正常運(yùn)行。

DayuFS主要面向海量非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用而設(shè)計(jì)，致力于解決此類應(yīng)用數(shù)據(jù)中存儲(chǔ)量巨大、I/O吞吐率高、數(shù)據(jù)增長(zhǎng)迅速、構(gòu)建成本高、管理復(fù)雜等傳統(tǒng)存儲(chǔ)所面臨的棘手問題。非常適合數(shù)據(jù)量巨大、存儲(chǔ)I/O帶寬要求極高、數(shù)據(jù)增長(zhǎng)迅速的4K視頻圖像制作領(lǐng)域，同時(shí)，DayuFS還針對(duì)其它分布式文件系統(tǒng)存在的單機(jī)訪問性能問題，設(shè)計(jì)并實(shí)現(xiàn)了客戶端SSD緩存，并依據(jù)此特性提出了4K視頻圖像制作網(wǎng)絡(luò)平臺(tái)的解決方案，有效應(yīng)對(duì)了相關(guān)存儲(chǔ)需求。方案結(jié)構(gòu)圖如圖1：

方案中采用大魚集群存儲(chǔ)系統(tǒng)作為中心存儲(chǔ)系統(tǒng)，通過萬(wàn)兆互聯(lián)網(wǎng)絡(luò)向所有的編輯工作站提供文件共享存儲(chǔ)服務(wù)。編輯機(jī)上安裝有DayuFS的客戶端軟件，通過客戶端，編輯機(jī)可以訪問大魚集群存儲(chǔ)系統(tǒng)的所有文件數(shù)據(jù)，訪問的方式與本地文件系統(tǒng)一致，上層的編輯和制作軟件無需做任何修改，就可以直接與DayuFS對(duì)接。DayuFS的客戶端上還可以配置了一塊或者多塊高速SSD設(shè)備作為客戶端磁盤緩存，多塊SSD的聚合存儲(chǔ)性能應(yīng)保證可以滿足該節(jié)點(diǎn)上視頻制作的需求。采用此配置可有效解決其它分布式文件系統(tǒng)所存在單機(jī)訪問性能問題。

相對(duì)于其它現(xiàn)有的4K視頻制作存儲(chǔ)方案，基于大魚集群存儲(chǔ)系統(tǒng)的方案具有明顯的優(yōu)勢(shì)：

3.1 高效安全的數(shù)據(jù)共享

DayuFS實(shí)現(xiàn)了全局統(tǒng)一的單一文件系統(tǒng)影響，在未作限制的情況下，從任何客戶端訪問DayuFS，均能看到全局統(tǒng)一的文件系統(tǒng)視圖，因此可以高效實(shí)現(xiàn)不同客戶端之間的數(shù)據(jù)共享，同時(shí)，DayuFS提供了不同的操作系統(tǒng)平臺(tái)上的客戶端軟件，包括Linux、Windows、MacOS，支持各操作系統(tǒng)的大多數(shù)主流發(fā)行版，非常適合視頻制作環(huán)境中各種平臺(tái)設(shè)備共存的情況。有利于4K視頻圖像制作中不同業(yè)務(wù)之間的數(shù)據(jù)共享和流轉(zhuǎn)。

另一方面，在大型視頻圖像制作環(huán)境中，為了視頻生產(chǎn)的安全，不同項(xiàng)目、不同業(yè)務(wù)之間數(shù)據(jù)隔離也很有必要。DayuFS提供了多租戶功能，系統(tǒng)支持多個(gè)租戶，租戶之間數(shù)據(jù)完全隔離，互不可見，杜絕多用戶環(huán)境下可能存在的非授權(quán)數(shù)據(jù)訪問，實(shí)現(xiàn)數(shù)據(jù)的安全共享。DayuFS還支持通用的NAS協(xié)議，如NFS、CIFS以及FTP，可以很方便地為臨時(shí)用戶、特殊設(shè)備提供訪問DayuFS的途徑。

3.2 穩(wěn)定的高性能表現(xiàn)

DayuFS支持在客戶端使用一個(gè)或者多個(gè)SSD設(shè)備作為磁盤緩存，與內(nèi)存構(gòu)成客戶端多級(jí)緩存機(jī)制，擴(kuò)展緩存容量，減少網(wǎng)絡(luò)通信，提升訪問性能。由于編輯作業(yè)的特征，其數(shù)據(jù)的局部性較強(qiáng)，非常適合應(yīng)用緩存提升性能，然后4K視頻圖像的數(shù)據(jù)量巨大，無法在內(nèi)存中有效緩存，反而降低數(shù)據(jù)訪問效率。使用本地的SSD緩存，可以將一次編輯的大部分?jǐn)?shù)據(jù)均緩存于本地，讓大多數(shù)數(shù)據(jù)讀操作均不通過網(wǎng)絡(luò)，本地完成，有效保證了極高的讀帶寬和低延遲。對(duì)于寫操作，同時(shí)利用SSD作為寫緩沖，使用異步寫操作來提升訪問性能。為上層應(yīng)用提供非常穩(wěn)定的高讀寫帶寬和低訪問延遲。

另一方面，DayuFS所提供的客戶端軟件與DayuFS服務(wù)端之間采用高效的私有數(shù)據(jù)交互協(xié)議，可以大幅度降低網(wǎng)絡(luò)通信開銷，進(jìn)一步提升數(shù)據(jù)訪問效率。

3.3 容量/性能高可擴(kuò)展

DayuFS最重要的設(shè)計(jì)目標(biāo)即為高可擴(kuò)展性，采用了松耦合的高可擴(kuò)展架構(gòu)，將元數(shù)據(jù)和數(shù)據(jù)分離存儲(chǔ)、分別管理，元數(shù)據(jù)和數(shù)據(jù)服務(wù)節(jié)點(diǎn)均可獨(dú)立按需擴(kuò)展。DayuFS軟件確保并發(fā)訪問請(qǐng)求被均衡地分散到多個(gè)節(jié)點(diǎn)處理，因此，增加新的存儲(chǔ)節(jié)點(diǎn)，可在增加容量的同時(shí)，使得性能也可隨節(jié)點(diǎn)數(shù)目近似線性增長(zhǎng)?？梢暂p松構(gòu)建存儲(chǔ)容量PB級(jí)，聚合存儲(chǔ)帶寬達(dá)幾十GB/s的海量存儲(chǔ)系統(tǒng)。

另一方面，由于SSD緩存的應(yīng)用，在4K編輯時(shí)大幅降低了服務(wù)端壓力，有效提升了DayuFS所能支持的客戶端數(shù)量，從而進(jìn)一步提高了系統(tǒng)的可擴(kuò)展能力。

3.4 擁有成本優(yōu)勢(shì)明顯

DayuFS的設(shè)計(jì)目標(biāo)是應(yīng)用普通的硬件設(shè)備替代傳統(tǒng)存儲(chǔ)系統(tǒng)中昂貴的專有硬件，因此整個(gè)系統(tǒng)的構(gòu)建成本低廉，并且由于具有按需擴(kuò)展的能力，無需一次性購(gòu)買未來的所有存儲(chǔ)容量，可以按需購(gòu)買，從而降低了用戶的構(gòu)建成本。同時(shí)，對(duì)于4K編輯合成等后期制作應(yīng)用，SSD的使用大大降低服務(wù)器端的壓力，減少了對(duì)服務(wù)器端節(jié)點(diǎn)數(shù)目的要求，從而進(jìn)一步降低了成本。

4 總結(jié)

通過上述對(duì)大魚集群存儲(chǔ)系統(tǒng)方案的分析，可以看到，對(duì)于4K視頻圖像制作來說，該方案能以較低的成本，提供海量的存儲(chǔ)空間，并能保證并發(fā)編輯時(shí)的極高性能需求，為4K視頻圖像制作節(jié)點(diǎn)提供高效、安全的數(shù)據(jù)共享服務(wù)。另一方面，這種方案也為更高分辨率的視頻圖像制作網(wǎng)絡(luò)平臺(tái)構(gòu)建提供了思路。

參考文獻(xiàn)

[1] 周進(jìn)，崔賢.影視動(dòng)畫非線性編輯技術(shù)教程.清華大學(xué)出版社，2010.

[2] 周進(jìn).影視動(dòng)畫數(shù)字合成技術(shù)教程.清華大學(xué)出版社，2010.

[3] （美）布林克曼.數(shù)字合成的科學(xué)與藝術(shù).清華大學(xué)出版社，2011.