徐 旭

(建湖廣播電視臺(tái) 總工室，江蘇 建湖 224700)

統(tǒng)一存儲(chǔ)關(guān)鍵指標(biāo)研究及在網(wǎng)絡(luò)制播中的應(yīng)用

徐 旭

(建湖廣播電視臺(tái) 總工室，江蘇 建湖 224700)

針對(duì)網(wǎng)絡(luò)制播存儲(chǔ)系統(tǒng)的優(yōu)化與整合，結(jié)合目前存儲(chǔ)技術(shù)的快速發(fā)展，在綜合考慮數(shù)據(jù)訪問需求的基礎(chǔ)上，系統(tǒng)研究了統(tǒng)一存儲(chǔ)的關(guān)鍵指標(biāo)。基于此研究，可解決系統(tǒng)架構(gòu)設(shè)計(jì)和設(shè)備選型困難的問題，確保統(tǒng)一存儲(chǔ)在網(wǎng)絡(luò)制播中的高可用、高性能、高利用率及可擴(kuò)展，最終實(shí)現(xiàn)集中管理下存儲(chǔ)資源的共享與高效利用。

統(tǒng)一存儲(chǔ)；網(wǎng)絡(luò)制播；指標(biāo)；應(yīng)用

網(wǎng)絡(luò)制播之所以能夠發(fā)揮其資源共享、并行工作的作用，關(guān)鍵在于網(wǎng)絡(luò)架構(gòu)，而存儲(chǔ)系統(tǒng)則是其中的關(guān)鍵部分。存儲(chǔ)系統(tǒng)在不同的時(shí)期滿足不同的需求，并隨著IT技術(shù)的不斷發(fā)展產(chǎn)生新的變化。當(dāng)前隨著各級(jí)電視臺(tái)全臺(tái)網(wǎng)的建設(shè)及高清制播和新媒體業(yè)務(wù)的開展，網(wǎng)絡(luò)架構(gòu)日趨復(fù)雜，業(yè)務(wù)類型日益多元化，非結(jié)構(gòu)化數(shù)據(jù)迅速增長，單一分散的SAN或NAS系統(tǒng)已不能滿足多樣化的數(shù)據(jù)訪問需求，將其分步有序地遷移至集中的、按需分配的統(tǒng)一存儲(chǔ)[1]中實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的優(yōu)化、整合已成為一種趨勢。

1 統(tǒng)一存儲(chǔ)關(guān)鍵指標(biāo)研究

統(tǒng)一存儲(chǔ)通過對(duì)FC，ISCSI，NFS，CIFS，HTTP，F(xiàn)TP等協(xié)議的支持集中實(shí)現(xiàn)塊級(jí)別、文件級(jí)別的數(shù)據(jù)訪問，其有兩種實(shí)現(xiàn)方式：一種是通過在NAS服務(wù)器上集成FC、ISCSI等協(xié)議構(gòu)建統(tǒng)一存儲(chǔ)；另一種則是通過在FC磁盤陣列的基礎(chǔ)上增加NAS控制器來構(gòu)建統(tǒng)一存儲(chǔ)。相比而言，第二種方式性能更好也更為普遍。統(tǒng)一存儲(chǔ)有可用性、性能、利用率、擴(kuò)展性[2]4個(gè)關(guān)鍵指標(biāo)，通過對(duì)這4個(gè)指標(biāo)的研究可為系統(tǒng)架構(gòu)設(shè)計(jì)和設(shè)備選型提供依據(jù)。

1.1 可用性指標(biāo)研究

1.1.1 RAID+熱備用

目前普遍應(yīng)用的RAID技術(shù)有RAID5和RAID6，兩者相比各有利弊：RAID5只能提供應(yīng)對(duì)單盤失效的數(shù)據(jù)保護(hù)，需借助快速重構(gòu)技術(shù)降低雙盤失效概率；RAID6通過雙奇偶校驗(yàn)提供應(yīng)對(duì)雙盤失效的數(shù)據(jù)保護(hù)，但開銷及寫代價(jià)均高于RAID5。熱備用有自動(dòng)和用戶發(fā)起兩種配置方式：對(duì)于自動(dòng)熱備用，當(dāng)某個(gè)磁盤的可修復(fù)錯(cuò)誤率超過一個(gè)預(yù)定的閾值時(shí)，磁盤陣列會(huì)自動(dòng)將數(shù)據(jù)從即將損壞的磁盤復(fù)制到熱備用磁盤中；對(duì)于用戶發(fā)起的熱備用，管理員能夠控制整個(gè)重構(gòu)流程，具有較大的靈活性，但在熱備用磁盤不可用的情況下系統(tǒng)很容易受到雙盤失效的影響。

1.1.2 控制器和通路冗余

主流的雙控冗余架構(gòu)[3]有三種：磁盤及控制器雙冗余的架構(gòu)可用性最高，可實(shí)現(xiàn)關(guān)鍵數(shù)據(jù)的鏡像備份，但開銷最高；磁盤共享背板一體的雙控冗余架構(gòu)由于磁盤及背板均存在單點(diǎn)故障風(fēng)險(xiǎn)，可用性最低；磁盤共享背板分離的雙控冗余架構(gòu)以較低的開銷實(shí)現(xiàn)較高的可用性，性價(jià)比最高。統(tǒng)一存儲(chǔ)的通路涉及前端通路與后端通路。后端通路主要采用雙FC-LOOP實(shí)現(xiàn)磁盤與控制器的冗余連接，前端通路略有不同，F(xiàn)C磁盤陣列要求提供MultiPath FC通路冗余功能，而NAS采用的則是IP通路的聚合或容錯(cuò)。

1.2 性能指標(biāo)研究

1.2.1 LUN分條

在控制器性能、緩存大小固定的情況下，統(tǒng)一存儲(chǔ)性能取決于磁盤類型和并行讀寫通道數(shù)，而分條通過將數(shù)據(jù)分布在多塊磁盤可實(shí)現(xiàn)磁盤的并行讀寫。傳統(tǒng)分條是在物理磁盤上實(shí)現(xiàn)的，由同一RAID集內(nèi)同質(zhì)磁盤上相同位置的條帶構(gòu)成，而LUN分條則能夠讓單個(gè)LUN上的數(shù)據(jù)分布到跨RAID集的異質(zhì)磁盤上，因參與分條的磁盤數(shù)大大增加，避免了磁盤熱點(diǎn)，使得磁盤性能得到了大幅提升。

1.2.2 自動(dòng)存儲(chǔ)分層

存儲(chǔ)分層是在不同類型(層)存儲(chǔ)之間建立層級(jí)的技術(shù)，通過將大量不經(jīng)常活動(dòng)的數(shù)據(jù)遷移至低速、低成本的磁盤系統(tǒng)上，可直接提升存儲(chǔ)系統(tǒng)的性能并降低存儲(chǔ)的采購成本。自動(dòng)存儲(chǔ)分層分為陣列間分層和陣列內(nèi)分層。

對(duì)于陣列間分層，數(shù)據(jù)在主存儲(chǔ)、二級(jí)存儲(chǔ)甚至多級(jí)存儲(chǔ)間分層，通常用于歸檔。

陣列內(nèi)分層有三種分層方式：LUN分層、子LUN分層及緩存分層。對(duì)于LUN分層，數(shù)據(jù)可在位于高速磁盤區(qū)的LUN和低速磁盤區(qū)的LUN之間流動(dòng)，此方式的不足在于LUN粒度太粗，包括活躍和不活躍的數(shù)據(jù)都進(jìn)行遷移；對(duì)于子LUN分層，一個(gè)LUN被打散成更小的片段，分層在這些片段級(jí)進(jìn)行，在更好的粒度下遷移數(shù)據(jù)可以大大提高存儲(chǔ)自動(dòng)分層的價(jià)值定位。對(duì)于緩存分層，通過配置固態(tài)硬盤充當(dāng)大容量的二級(jí)緩存，分層在DRAM(主緩存)和固態(tài)硬盤(二級(jí)緩存)之間進(jìn)行，實(shí)現(xiàn)了更高的存儲(chǔ)性能。

1.3 利用率指標(biāo)研究

1.3.1 自動(dòng)精簡配給

自動(dòng)精簡配給是讓一個(gè)LUN的容量大于實(shí)際物理容量的技術(shù)。傳統(tǒng)配給基于預(yù)期的存儲(chǔ)需求一次性分配容量，很容易導(dǎo)致容量的過度配給，從而降低存儲(chǔ)利用率。自動(dòng)精簡配給則根據(jù)實(shí)際所需少量多次的分配容量，當(dāng)容量不夠時(shí)，系統(tǒng)會(huì)自動(dòng)從后端存儲(chǔ)池補(bǔ)充一部分容量。自動(dòng)精簡配給顯著減少已分配但未使用的存儲(chǔ)空間，在不降低性能的情況下簡化了存儲(chǔ)管理并大幅提高存儲(chǔ)利用率。

1.3.2 塊級(jí)存儲(chǔ)虛擬化

塊級(jí)存儲(chǔ)虛擬化是將塊存儲(chǔ)設(shè)備進(jìn)行集合，實(shí)現(xiàn)獨(dú)立于底層物理存儲(chǔ)的虛擬卷配給。通過對(duì)物理存儲(chǔ)設(shè)備做抽象化處理，創(chuàng)建一個(gè)容納不同存儲(chǔ)設(shè)備資源的存儲(chǔ)池。虛擬卷從存儲(chǔ)池中創(chuàng)建，通過虛擬卷與LUN的透明映射，主機(jī)以訪問物理卷的方式訪問虛擬卷。塊級(jí)存儲(chǔ)虛擬化通過支持在線擴(kuò)容及異構(gòu)接管實(shí)現(xiàn)了存儲(chǔ)的高效利用：在線擴(kuò)容解決了系統(tǒng)對(duì)于存儲(chǔ)容量在線擴(kuò)展的需求；異構(gòu)接管則實(shí)現(xiàn)了磁盤陣列之間存儲(chǔ)資源的聯(lián)合。

1.4 擴(kuò)展性指標(biāo)研究

統(tǒng)一存儲(chǔ)的擴(kuò)展性主要體現(xiàn)在功能、性能的擴(kuò)展兩方面。功能的擴(kuò)展目前主要體現(xiàn)為對(duì)基于對(duì)象的存儲(chǔ)[4]和SSD盤的支持?；趯?duì)象的存儲(chǔ)以內(nèi)容為依據(jù)，以對(duì)象的形式存儲(chǔ)數(shù)據(jù)，其核心是將數(shù)據(jù)通路和控制通路分離，基于對(duì)象存儲(chǔ)設(shè)備(OSD)構(gòu)建存儲(chǔ)系統(tǒng)。對(duì)象存儲(chǔ)設(shè)備通常采用刀片式結(jié)構(gòu)，具有一定的智能，能夠自動(dòng)管理其上的數(shù)據(jù)分布，通過分布元數(shù)據(jù)和并發(fā)數(shù)據(jù)訪問實(shí)現(xiàn)高性能存儲(chǔ)。SSD盤基于半導(dǎo)體的固態(tài)存儲(chǔ)來存取數(shù)據(jù)，不含移動(dòng)部件，因此具有極高的磁盤性能。性能的擴(kuò)展體現(xiàn)在控制器、緩存的橫向擴(kuò)展上，具體表現(xiàn)為可擴(kuò)展的控制器數(shù)量和緩存大小。

2 統(tǒng)一存儲(chǔ)在網(wǎng)絡(luò)制播中的應(yīng)用

網(wǎng)絡(luò)制播制作、播出、收錄、媒資及新媒體等業(yè)務(wù)均存在大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)[5]，根據(jù)業(yè)務(wù)類型的不同，數(shù)據(jù)訪問需求也不盡相同，應(yīng)用統(tǒng)一存儲(chǔ)可有效結(jié)合SAN系統(tǒng)高性能、高可靠與NAS系統(tǒng)低成本、易共享的特性，為不同類型的客戶端提供不同服務(wù)質(zhì)量的數(shù)據(jù)訪問服務(wù)，其網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)制播統(tǒng)一存儲(chǔ)架構(gòu)

統(tǒng)一存儲(chǔ)系統(tǒng)主要包括以下部件：存儲(chǔ)、控制器、NAS機(jī)頭，并可根據(jù)需求添加支持對(duì)象存儲(chǔ)的OSD節(jié)點(diǎn)。存儲(chǔ)由高性能FC磁盤陣列組成，它決定了系統(tǒng)的總體存儲(chǔ)容量和讀寫帶寬，通過支持RAID+熱備用、Snapshot、Mirror等數(shù)據(jù)保護(hù)技術(shù)可提高系統(tǒng)可用性；通過混合使用SAS盤、NL-SAS盤、SATA盤及SSD盤可實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)存儲(chǔ)分層；通過應(yīng)用自動(dòng)精簡配給和塊級(jí)存儲(chǔ)虛擬化可提高存儲(chǔ)利用率。控制器為系統(tǒng)提供塊級(jí)別的數(shù)據(jù)訪問，并負(fù)責(zé)后端FC磁盤陣列的池化管理。NAS機(jī)頭是專用的文件服務(wù)器，通過塊協(xié)議與文件協(xié)議的相互轉(zhuǎn)換為系統(tǒng)提供文件級(jí)別的數(shù)據(jù)訪問。通過控制器、NAS機(jī)頭的冗余配置及通路的冗余連接，可實(shí)現(xiàn)負(fù)載均衡和故障切換，確?？蛻舳藢?duì)存儲(chǔ)的無間斷數(shù)據(jù)訪問。

在統(tǒng)一存儲(chǔ)架構(gòu)下，客戶端既可以通過FC/ISCSI協(xié)議實(shí)現(xiàn)塊級(jí)別數(shù)據(jù)訪問，又可以通過NFS/CIFS協(xié)議實(shí)現(xiàn)文件級(jí)讀寫，還可以通過FTP協(xié)議進(jìn)行文件訪問[6]。高清非編站點(diǎn)、節(jié)目復(fù)雜包裝站點(diǎn)、數(shù)據(jù)遷移服務(wù)器及一些關(guān)鍵業(yè)務(wù)服務(wù)器對(duì)傳輸帶寬有很高要求，可采用雙網(wǎng)結(jié)構(gòu)對(duì)存儲(chǔ)訪問，數(shù)據(jù)在FC通路上傳輸；對(duì)于普通的非線性編輯站點(diǎn)、轉(zhuǎn)碼服務(wù)器、打包合成服務(wù)器等可以通過ISCSI協(xié)議在IP通路上對(duì)存儲(chǔ)進(jìn)行高效訪問；對(duì)于簡單編輯工作站、節(jié)目收錄服務(wù)器、低碼率編輯工作站等帶寬要求更低的站點(diǎn)，可以通過NFS/CIFS協(xié)議實(shí)現(xiàn)文件級(jí)數(shù)據(jù)共享；對(duì)于系統(tǒng)間需要松散耦合的情況，F(xiàn)TP方式的文件交換則是兼顧效率和安全的最佳選擇。

網(wǎng)絡(luò)制播應(yīng)用統(tǒng)一存儲(chǔ)的優(yōu)勢在于通過對(duì)分散的存儲(chǔ)系統(tǒng)進(jìn)行整合并實(shí)施統(tǒng)一管理，可確保系統(tǒng)的高可用、高性能、高安全、可擴(kuò)展，最終實(shí)現(xiàn)資源的高效利用和整體開銷的降低。由于采用SAN和NAS混用模式，針對(duì)多種不同級(jí)別業(yè)務(wù)對(duì)統(tǒng)一存儲(chǔ)的計(jì)算資源、緩存資源、并發(fā)資源以及硬盤資源進(jìn)行分配和調(diào)節(jié)至關(guān)重要，應(yīng)為高級(jí)別的業(yè)務(wù)提供預(yù)留的資源，避免資源競爭而導(dǎo)致服務(wù)質(zhì)量下降或服務(wù)失效。隨著萬兆以太網(wǎng)(10 Gbit/s Ethernet，10GE)和以太網(wǎng)光纖通道(FCoE)[7]技術(shù)的成熟和普及，可以將FC+以太雙網(wǎng)進(jìn)一步合并為10GE ISCSI或更高性能的FCOE單網(wǎng)，以實(shí)現(xiàn)真正意義上的統(tǒng)一存儲(chǔ)。

3 總結(jié)

統(tǒng)一存儲(chǔ)的出現(xiàn)已有不短的時(shí)間，但在網(wǎng)絡(luò)制播中的應(yīng)用卻是全新的課題。本文從統(tǒng)一存儲(chǔ)的概念出發(fā)，通過對(duì)其可用性、性能、利用率、擴(kuò)展性等關(guān)鍵指標(biāo)的研究，為系統(tǒng)構(gòu)建建立一套適用的參考體系。網(wǎng)絡(luò)制播應(yīng)用統(tǒng)一存儲(chǔ)，可在單一架構(gòu)中充分融合FC存儲(chǔ)技術(shù)和IP存儲(chǔ)技術(shù)[8]，有效解決多業(yè)務(wù)需求帶來的管理分散、共享困難問題，大大提高存儲(chǔ)資源利用率和整體性價(jià)比，這也將是未來電視臺(tái)網(wǎng)絡(luò)系統(tǒng)規(guī)劃建設(shè)的一個(gè)重要方向。

[1] SOMASUNDARAM G,SHRIVASTAVA A.信息存儲(chǔ)與管理[M].北京:人民郵電出版社,2013.

[2] 王紀(jì)奎.存儲(chǔ)從入門到精通[M].北京:清華大學(xué)出版社,2009.

[3] 張冬.網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)原理精解與最佳實(shí)踐[M].北京:清華大學(xué)出版社,2008.

[4] 郭玉東,尹青.基于對(duì)象的網(wǎng)絡(luò)存儲(chǔ)[M].北京:電子工業(yè)出版社,2007.

[5] 楊傳輝.大規(guī)模分布式存儲(chǔ)系統(tǒng):原理解析與架構(gòu)實(shí)戰(zhàn)[M].北京:機(jī)械工業(yè)出版社,2013.

[6] 徐威.數(shù)字電視網(wǎng)絡(luò)制播技術(shù)[M].北京:中國廣播電視出版社,2008.

[7] 周宏飛.電視臺(tái)網(wǎng)絡(luò)化制播業(yè)務(wù)中的存儲(chǔ)選擇[J].現(xiàn)代電視技術(shù),2012,(S1):64-67.

[8] 韓德志,余順爭,謝長生.融合NAS和SAN的存儲(chǔ)網(wǎng)絡(luò)設(shè)計(jì)與實(shí)現(xiàn)[J].電子學(xué)報(bào),2006,(11):2012-2017.

責(zé)任編輯：哈宏疆

Research of Key Specifications on Unified Storage & Application in Network Production and Broadcasting

XU Xu

(OfficeoftheChiefEngineer,JianhuRadioandTelevisionStation,JiangsuJianhu224700,China)

In view of the optimization and integration of storage systems in Network production and broadcasting, together with the rapid development of the storage technology, to cater to the requirement of data access, this essay systematically conducts a research of key specifications on unified storage. Based on the research, can solve the problems of architecture designing and equipment selection, to ensure that the unified storage applicated in Network production and broadcasting can be high availability, high performance, high utilization and high scalability, finally realize storage resources sharing and used efficiently under the centralized management.

unified storage; network production and broadcasting; specification; application

TN948.11

A

10.16280/j.videoe.2015.24.018

2015-07-16