鄭州電視臺(tái) 梁曉東

鄭州電視臺(tái)高清制作網(wǎng)存儲(chǔ)架構(gòu)

鄭州電視臺(tái) 梁曉東

一、存儲(chǔ)系統(tǒng)的沿革

早期的計(jì)算機(jī)主要采用的是串行存儲(chǔ)器存儲(chǔ)數(shù)據(jù)，隨后不久又使用磁鼓存儲(chǔ)器。到了20世紀(jì)50年代中期，主要使用磁芯存儲(chǔ)器作為主存儲(chǔ)器。在20世紀(jì)60年代中期以后，半導(dǎo)體存儲(chǔ)器取代了磁芯存儲(chǔ)器。在邏輯結(jié)構(gòu)上，并行存儲(chǔ)和從屬存儲(chǔ)器技術(shù)的采用提高了主存儲(chǔ)器的處理速度，緩和了主存和中央處理器速度不匹配的矛盾。1968年IBM-360/85最早采用了高速緩沖存儲(chǔ)器，高速緩沖存儲(chǔ)器的存取周期與中央處理器主頻的周期一樣，由硬件自動(dòng)調(diào)度高速緩沖存儲(chǔ)器與主存儲(chǔ)器之間的信息傳遞，從而使中央處理器對(duì)主存儲(chǔ)器的絕大部分存取操作，可以在中央處理器和高速緩沖存儲(chǔ)器之間進(jìn)行。

二、存儲(chǔ)系統(tǒng)的結(jié)構(gòu)

1.存儲(chǔ)系統(tǒng)。存儲(chǔ)系統(tǒng)是硬件基礎(chǔ)平臺(tái)中一個(gè)十分重要的組成部分，尤其在電視臺(tái)節(jié)目制作系統(tǒng)中，存儲(chǔ)系統(tǒng)的重要性更是十分重要，一旦存儲(chǔ)系統(tǒng)出現(xiàn)問題，就會(huì)影響到電視節(jié)目的生產(chǎn)效率，甚至?xí)绊懙焦?jié)目的正常播出，所以存儲(chǔ)系統(tǒng)在整個(gè)系統(tǒng)中的地位可以說是重中之重。除了安全性方面考慮外，系統(tǒng)的可擴(kuò)展性，維護(hù)的難易程度，投入成本的高低，以及使用的方便程度都是在建網(wǎng)之初需要考慮的問題。

2.FC-SAN結(jié)構(gòu)。FC-SAN結(jié)構(gòu)從20世紀(jì)90年代發(fā)展到現(xiàn)在，其技術(shù)成熟度非常高，除了成本投入大這方面的劣勢(shì)以外，其在安全性、高效性、兼容性、可擴(kuò)展性和易維護(hù)性等方面均有著明顯的優(yōu)勢(shì)。但是，如果全網(wǎng)幾十個(gè)站點(diǎn)都使用FC-SAN接入的話，則成本投入太大，并且也不現(xiàn)實(shí)。為解決這一難題，筆者想到了使用NAS結(jié)構(gòu)，以太網(wǎng)下的NAS結(jié)構(gòu)可以省去昂貴的FC設(shè)備，從而解決了成本高的問題，但是隨之而來的情況是帶寬也降低了，使得大量的終端站點(diǎn)無法同時(shí)編輯高碼率的素材。編輯站點(diǎn)的任務(wù)是節(jié)目制作而非節(jié)目播出，節(jié)目制作人員只需瀏覽低碼率的素材即可達(dá)到節(jié)目制作的目的，因此，完全可以在節(jié)目制作完成之后再打包生成高碼率的節(jié)目成品。到這里，問題已經(jīng)迎刃而解了，整個(gè)存儲(chǔ)系統(tǒng)采用FC-SAN結(jié)構(gòu)，少量終端站點(diǎn)配置為FC-SAN終端（可直接訪問中心存儲(chǔ)進(jìn)行高碼率的編輯），而多數(shù)終端站點(diǎn)配置為NAS終端（通過NAS服務(wù)器訪問中心存儲(chǔ)，一般用低碼率編輯，NAS服務(wù)器相當(dāng)于FC-SAN終端，它把訪問到的中心存儲(chǔ)共享出來，供NAS終端來訪問），這樣就形成了SAN+NAS的存儲(chǔ)網(wǎng)絡(luò)架構(gòu)。存儲(chǔ)規(guī)劃如表1所示。

表1 存儲(chǔ)規(guī)劃

三、存儲(chǔ)系統(tǒng)的組成

1.存儲(chǔ)系統(tǒng)的整體特點(diǎn)。鄭州電視臺(tái)高清制作網(wǎng)是以在線存儲(chǔ)為核心的存儲(chǔ)體系。中央在線存儲(chǔ)器采用2臺(tái)EMC公司的CX480存儲(chǔ)系統(tǒng)，在2個(gè)控制器上配置8個(gè)FC主機(jī)通道分別連接在2個(gè)核心光纖交換機(jī)上，這樣，系統(tǒng)中各個(gè)站點(diǎn)通過連接任意1個(gè)FC通道都可以訪問到存儲(chǔ)系統(tǒng)，且系統(tǒng)不會(huì)引起單點(diǎn)故障，最大限度地保證了系統(tǒng)業(yè)務(wù)的不間斷運(yùn)行。在數(shù)據(jù)安全方面，每臺(tái)CX480都做了Raid5處理，同時(shí)，為了使中心存儲(chǔ)上的素材多一層安全保障和最大限度地保護(hù)節(jié)目和素材，2臺(tái)CX480存儲(chǔ)器之間通過實(shí)時(shí)鏡像的方式來確保系統(tǒng)的安全性，當(dāng)任意1個(gè)存儲(chǔ)器出現(xiàn)故障時(shí)，另外1個(gè)存儲(chǔ)器可以支撐整個(gè)制作業(yè)務(wù)的正常運(yùn)行，保障系統(tǒng)內(nèi)部不存在單點(diǎn)故障。

2.存儲(chǔ)盤陣具體規(guī)劃。系統(tǒng)采用的2臺(tái)EMC CX480具有完全相同的規(guī)劃結(jié)構(gòu)，使用的硬盤為容量450G的磁盤矩陣，每個(gè)盤柜共有43塊硬盤。具體規(guī)劃分為以下3個(gè)部分。

（1）1個(gè)1.8TB的Raid5組（Raid Group0），劃分為1個(gè)150G、1個(gè)100G和1個(gè)1.6TB的數(shù)據(jù)卷。

（2）4個(gè)3.6TB的Raid5組（Raid Group1～4），每9塊硬盤組成1個(gè)Raid組，采用Raid5級(jí)8+1的模式。采用每個(gè)盤箱3塊盤的方式充分利用盤箱磁盤通道帶寬。共劃分為8個(gè)1.8TB的邏輯卷。

（3）2塊全局熱備盤。每個(gè)Raid組的邏輯LUN創(chuàng)建在同1個(gè)StorNext數(shù)據(jù)條帶組中。Raid組共有2個(gè)文件系統(tǒng)，av-y共用Raid Group 0的1個(gè)條帶組，av-x共用Raid Group 1的4個(gè)條帶組。

四、存儲(chǔ)容量與帶寬

中央在線存儲(chǔ)系統(tǒng)主要承擔(dān)系統(tǒng)中所有的有卡站點(diǎn)與服務(wù)器對(duì)高碼率文件的訪問，是系統(tǒng)的核心設(shè)備。容量和帶寬是設(shè)計(jì)存儲(chǔ)網(wǎng)絡(luò)需要考慮的主要因素。

1.容量分析。在鄭州電視臺(tái)高清制作系統(tǒng)中，中心在線存儲(chǔ)部分采用雙控制器、雙電源、全冗余的光纖磁盤陣列，存儲(chǔ)緩存由帶電保護(hù)器和冗余散熱系統(tǒng)組成。使用的盤陣為EMC公司的原廠硬盤。雙控制器激活8個(gè)獨(dú)立的4G主機(jī)端口，采用16G的存儲(chǔ)緩存。物理有效存儲(chǔ)空間為17.1TB（可進(jìn)一步擴(kuò)展至480TB），按照每存儲(chǔ)1h的高清資料需要50G的空間來計(jì)算，17.1TB可以滿足超過340h的存儲(chǔ)需求。

2.帶寬分析。根據(jù)本網(wǎng)各種工作站、服務(wù)器數(shù)量、編輯碼率、視頻流數(shù)量以及其他的相關(guān)參數(shù)，對(duì)帶寬進(jìn)行分析。帶寬分析如表2所示。

表 2 系統(tǒng)帶寬分析

3.業(yè)務(wù)擴(kuò)展分析。通過對(duì)編輯合成站點(diǎn)以及有關(guān)服務(wù)器所需帶寬的累加得知，系統(tǒng)的極限并發(fā)讀寫總帶寬約為670MB/s，而我們本次的A，B存儲(chǔ)選型均為EMC CX480，通過測(cè)試，單個(gè)存儲(chǔ)可以提供700MB/s的混合讀寫帶寬，也就是說，1個(gè)存儲(chǔ)就完全可以承擔(dān)整個(gè)系統(tǒng)的業(yè)務(wù)需求，再通過索貝的FISEC安全技術(shù)，將A、B存儲(chǔ)完全實(shí)時(shí)鏡像，可以保證當(dāng)某個(gè)存儲(chǔ)出現(xiàn)問題后，業(yè)務(wù)可以無縫地切換到另1個(gè)存儲(chǔ)繼續(xù)進(jìn)行，同時(shí)通過性能的均衡負(fù)載，可以提供1400MB/S的混合讀寫帶寬，完全能夠保障高標(biāo)清制作業(yè)務(wù)的安全、穩(wěn)定開展。

五、存儲(chǔ)管理服務(wù)器

本系統(tǒng)中配置了2臺(tái)MDS存儲(chǔ)管理服務(wù)器，用于管理光纖磁盤陣列，主要為有卡工作站或者服務(wù)器提供光纖磁盤陣列訪問驗(yàn)證，并且也為有卡工作站或者服務(wù)器讀寫存儲(chǔ)在光纖磁盤陣列的低碼率素材提供訪問通道。存儲(chǔ)管理服務(wù)器MDS是網(wǎng)絡(luò)存儲(chǔ)共享的核心，MDS服務(wù)器除了安裝StorNext文件共享軟件外，還安裝有StorNext Failover MDS備份軟件，一旦其中1臺(tái)MDS服務(wù)器發(fā)生故障，另外1臺(tái)MDS服務(wù)器可以自動(dòng)接管共享的管理工作，切換在30s以內(nèi)完成。

六、存儲(chǔ)管理軟件

1.存儲(chǔ)管理軟件。目前主要的存儲(chǔ)管理軟件有Tivoli SANergyFS、SGI CXFS、ADIC Centravision、Veritas SANpoint direct、HP Transoft FibreNet、StorNext等，從軟件的穩(wěn)定性、可靠性以及實(shí)際運(yùn)行環(huán)境的使用情況來看，StorNext在視音頻應(yīng)用領(lǐng)域的各種技術(shù)指標(biāo)表現(xiàn)均較好，且實(shí)用性更強(qiáng)。

2.StorNext。StorNext存儲(chǔ)管理軟件承擔(dān)了對(duì)共享磁盤陣列磁盤文件及元數(shù)據(jù)管理，監(jiān)控磁盤訪問的工作站和服務(wù)器的磁盤讀寫，并且具有2次共享的功能，即可以將安裝有StorNext客戶端軟件的服務(wù)器映射為IP網(wǎng)絡(luò)的文件服務(wù)器，以太網(wǎng)工作站即可通過該服務(wù)器實(shí)現(xiàn)對(duì)共享磁盤陣列的訪問。

3.StorNext File System。作為StorNext管理套件中的核心SAN文件系統(tǒng)，StorNext File System為異構(gòu)客戶端提供了對(duì)集中式磁盤存儲(chǔ)的高性能共享訪問。通過整合能夠被多個(gè)操作系統(tǒng)訪問的數(shù)據(jù)，StorNext File System極大降低了存儲(chǔ)設(shè)備的需求。而且，由于多個(gè)客戶端能夠同時(shí)共享相同的文件，因此消除了通過局域網(wǎng)移動(dòng)大型文件和存儲(chǔ)重復(fù)文件副本的需求，提高了存儲(chǔ)效率，減少了網(wǎng)絡(luò)瓶頸。