鄭 娜，吳 舟，鄭朝亮

(柳州廣播電視臺，廣西 柳州 545006)

基于大容量鏡像NAS存儲結(jié)構(gòu)的設(shè)計(jì)

鄭 娜，吳 舟，鄭朝亮

(柳州廣播電視臺，廣西 柳州 545006)

針對IP SAN網(wǎng)絡(luò)存儲結(jié)構(gòu)的部署與維護(hù)，在綜合考慮柳州廣播電視臺業(yè)務(wù)發(fā)展和實(shí)際需求的基礎(chǔ)上，設(shè)計(jì)了基于大容量鏡像的NAS存儲結(jié)構(gòu)。結(jié)果證明，新的NAS存儲結(jié)構(gòu)簡單，成本低，易于維護(hù)，故障排查和處理更迅速，擴(kuò)展性較高，并且實(shí)現(xiàn)了實(shí)時同步與快速切換的主備高可用存儲，確保了節(jié)目流程中數(shù)據(jù)的安全性。

IPSAN; FCSAN; NAS; 網(wǎng)絡(luò)存儲結(jié)構(gòu); 交叉?zhèn)浞?/p>

在早些年諸多網(wǎng)絡(luò)存儲結(jié)構(gòu)中，存儲區(qū)域網(wǎng)絡(luò)(Storage Area Network，SAN)結(jié)構(gòu)作為低延時高性能的代表，一直是柳州廣播電視臺搭建非線性編輯網(wǎng)絡(luò)的唯一選擇。但由于存儲間鏡像技術(shù)的不成熟，無論是最初的IP SAN[1]還是后來的FC SAN都未能設(shè)置備份方案[2]。雖然近幾年存儲設(shè)備的品質(zhì)和穩(wěn)定性都有了大幅提高，但一旦數(shù)據(jù)存儲出現(xiàn)意外，維修并重新上線需要的時間依然過長，必然會影響節(jié)目的制作和播出，甚至有可能造成播出事故。為了保障節(jié)目生產(chǎn)流程中數(shù)據(jù)的持續(xù)可用性，確保節(jié)目按時完成，實(shí)現(xiàn)安全播出，能夠?qū)崿F(xiàn)實(shí)時同步與快速切換的主備高可用存儲是非常有必要的。

1 設(shè)計(jì)思路

近年來，隨著網(wǎng)絡(luò)存儲技術(shù)的高速發(fā)展， SAN結(jié)構(gòu)與新興的NAS[3]結(jié)構(gòu)都能滿足柳州廣播電視臺非線性編輯網(wǎng)絡(luò)的需求。在具體的結(jié)構(gòu)對比上，SAN形式的存儲結(jié)構(gòu)雖然性能稍好，但由于軟硬件原因，采購成本過高且網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，維護(hù)難度較高。而純以太網(wǎng)的NAS存儲結(jié)構(gòu)的硬件部署成本相對FCSAN而言要低不少，即使與IPSAN相比也能節(jié)省一筆可觀的集群文件系統(tǒng)的費(fèi)用，并且NAS存儲結(jié)構(gòu)簡單，部署與維護(hù)較為容易，擴(kuò)展性較高。因此本次升級柳州廣播電視臺決定選用優(yōu)勢更為明顯的NAS存儲系統(tǒng)。

柳州廣播電視臺對新的數(shù)據(jù)存儲有3個基本要求：一是要能提供高性能大容量的數(shù)據(jù)存儲空間；二是界面直觀、操作簡單、易于維護(hù)；三是必須有實(shí)時同步的主備存儲設(shè)備來保障數(shù)據(jù)安全。

新部署的NAS存儲設(shè)備選用了德拓(DATATOM)的NEUTRINO視頻專用磁盤陣列[4]，每臺磁盤陣列可配置24塊3.5 in(1 in=2.54 cm)的企業(yè)級SATA硬盤，每塊硬盤容量為3 Tbyte，總?cè)萘拷咏?0 Tbyte。底層系統(tǒng)基于Linux定制開發(fā)，增強(qiáng)了存儲及管理功能，通過網(wǎng)頁進(jìn)行管理，更加直觀明了，操作便捷，并且占用系統(tǒng)資源較少，穩(wěn)定性更高。每臺德拓存儲設(shè)備均采用了RAID5+熱備的組合，在大部分環(huán)境下可允許2塊硬盤相繼損壞，提升了數(shù)據(jù)的可靠性。

在存儲間實(shí)時備份方面采用了互為主備的交叉?zhèn)浞莘绞健?臺存儲互為主備，同時對外提供數(shù)據(jù)共享服務(wù)，每臺存儲可提供510 Mbit/s以上的穩(wěn)定帶寬，2臺則可提供1 020 Mbit/s以上的穩(wěn)定帶寬，按照標(biāo)清標(biāo)準(zhǔn)每臺非編站點(diǎn)4層25 Mbit/s碼率計(jì)算的話，可支持80臺站點(diǎn)同時進(jìn)行編輯，未來亦能滿足一定量的高清制作。交叉?zhèn)浞莘绞降膽?yīng)用不僅實(shí)現(xiàn)了實(shí)時備份，也實(shí)現(xiàn)了存儲系統(tǒng)的負(fù)載均衡，壓力分流。當(dāng)一臺存儲出現(xiàn)故障時，可以手動將數(shù)據(jù)共享服務(wù)切換到另一臺儲存上，5分鐘內(nèi)即可恢復(fù)正常工作，并能保證故障前數(shù)據(jù)的完整性，最大程度確保節(jié)目的制作時間，保障節(jié)目的按時制作完成。

柳州廣播電視臺現(xiàn)有的2個非編網(wǎng)均部署了1套主備NAS存儲系統(tǒng)，每套系統(tǒng)包含2臺NEUTRINO視頻專用磁盤陣列，2臺萬兆以太網(wǎng)交換機(jī)。兩網(wǎng)合計(jì)非編站點(diǎn)77臺。整個網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2 基于大容量鏡像NAS存儲結(jié)構(gòu)的優(yōu)勢

隨著信息技術(shù)的不斷發(fā)展，傳統(tǒng)以獨(dú)立服務(wù)器為中心的存儲方式已不能滿足日益增長的數(shù)據(jù)業(yè)務(wù)的需要，因此以SAN結(jié)構(gòu)為代表的網(wǎng)絡(luò)存儲架構(gòu)開始進(jìn)入人們的視線。SAN結(jié)構(gòu)克服了傳統(tǒng)存儲的諸多缺陷，實(shí)現(xiàn)了大容量的網(wǎng)絡(luò)存儲

與高性能的數(shù)據(jù)共享，這也是現(xiàn)在SAN系統(tǒng)仍在流行的重要原因。但是SAN結(jié)構(gòu)也有部署成本高、結(jié)構(gòu)復(fù)雜、故障排查和修復(fù)耗時較長等不利因素。隨著近幾年軟硬件技術(shù)的不斷進(jìn)步，另一種網(wǎng)絡(luò)存儲架構(gòu)NAS開始展現(xiàn)其優(yōu)勢，NAS結(jié)構(gòu)不僅擁有SAN結(jié)構(gòu)大容量高性能的特點(diǎn)，并且非常簡單靈活，部署與升級方便，故障排查與處理更迅速。對比NAS結(jié)構(gòu)的優(yōu)勢和參考柳州廣播電視臺近10年來SAN結(jié)構(gòu)的使用情況，最終選擇了NAS存儲結(jié)構(gòu)，并對其進(jìn)行了一些優(yōu)化。

2.1 數(shù)據(jù)安全

在SAN存儲系統(tǒng)中，多站點(diǎn)同時訪問數(shù)據(jù)依賴于集群文件系統(tǒng)，因此集群文件系統(tǒng)的元數(shù)據(jù)服務(wù)器MDC/MDS是非常關(guān)鍵的節(jié)點(diǎn)，一旦出現(xiàn)故障，客戶端將無法獲取數(shù)據(jù)的具體存放位置，從而導(dǎo)致整個存儲系統(tǒng)癱瘓。在基于光纖線路的SAN存儲系統(tǒng)中，由于增加了光纖線路和光纖交換機(jī)等額外設(shè)備，故障節(jié)點(diǎn)和排查難度也相應(yīng)上升。而NAS存儲完全基于以太網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)簡單，基礎(chǔ)設(shè)備較少，因此故障點(diǎn)和故障幾率更低。

在數(shù)據(jù)存儲方面，原有的SAN存儲采用的是RAID5+熱備的方式，數(shù)據(jù)安全有一定保障。而新部署的NAS存儲在RAID5+熱備的基礎(chǔ)上，還增加了存儲間的1∶1備份，進(jìn)一步提高了數(shù)據(jù)的安全性，可以有效避免單臺存儲故障造成的影響，將業(yè)務(wù)停頓和數(shù)據(jù)丟失的風(fēng)險降到最低。存儲互為備份如圖2所示。

圖2 存儲互為備份(截圖)

2.2 存儲性能

每臺NEUTRINO視頻專用磁盤陣列內(nèi)置有24 Gbyte的高速緩存，數(shù)據(jù)讀寫優(yōu)先通過緩存進(jìn)行處理，有效提升了整體的性能；內(nèi)部文件系統(tǒng)采用優(yōu)化過的XFS，降低了系統(tǒng)IO占用，將帶寬全部留給文件讀寫，大大提高了讀寫效率；針對非編系統(tǒng)的特點(diǎn)(讀IO占70%左右，寫IO占30%左右)進(jìn)行優(yōu)化，非常適合廣電節(jié)目制作環(huán)境；支持萬兆網(wǎng)口和千兆網(wǎng)口混合綁定，不僅提升了對外網(wǎng)絡(luò)帶寬，同時還實(shí)現(xiàn)了線路冗余，將存儲萬兆網(wǎng)口和千兆網(wǎng)口分別接在2臺不同的交換機(jī)上，即使1臺交換機(jī)出現(xiàn)問題，正常交換機(jī)上的站點(diǎn)到數(shù)據(jù)存儲的鏈路都不會受到影響。

柳州廣播電視臺還在存儲間1∶1備份方面做了一些改進(jìn)，具體方法是將存儲1和存儲2都等分成2個卷(卷A和卷B)，每個卷30 Tbyte存儲空間，存儲1的卷A和存儲2的卷A做實(shí)時同步(鏡像)，由存儲1提供數(shù)據(jù)共享服務(wù)，存儲1的卷B和存儲2的卷B做實(shí)時同步(鏡像)，由存儲2提供數(shù)據(jù)共享服務(wù)，這樣不僅保障了1∶1實(shí)時備份，同時也實(shí)現(xiàn)了存儲的負(fù)載均衡，大幅提高了主備存儲的總性能，因?yàn)?臺存儲設(shè)備都提供數(shù)據(jù)共享服務(wù)，數(shù)據(jù)的讀寫會被分散到不同的存儲設(shè)備上。磁盤陣列交叉存儲結(jié)構(gòu)如圖3所示。

圖3 磁盤陣列交叉存儲結(jié)構(gòu)

2.3 故障恢復(fù)

原有的SAN存儲系統(tǒng)結(jié)構(gòu)復(fù)雜，故障點(diǎn)多，在出現(xiàn)故障時，不僅要檢查存儲系統(tǒng)和集群文件系統(tǒng)，還要查看光纖線路和服務(wù)器系統(tǒng)日志，整個過程非常耗時。而NAS結(jié)構(gòu)簡單，只需要查鏈路狀態(tài)和存儲情況，并且NEUTRINO存儲有非常直觀的網(wǎng)頁管理系統(tǒng)，這極大地加快了故障排查速度。管理

系統(tǒng)磁盤狀態(tài)界面如圖4所示。

圖4 管理系統(tǒng)磁盤狀態(tài)界面(截圖)

在原有的SAN架構(gòu)系統(tǒng)中，由于結(jié)構(gòu)復(fù)雜，環(huán)環(huán)相扣、因此不僅故障排查耗時較長，故障修復(fù)后往往也需要重啟整個業(yè)務(wù)系統(tǒng)，同樣耗時很久，所以任何一次故障都有可能對業(yè)務(wù)系統(tǒng)的連續(xù)性運(yùn)行造成很大影響。而在新的NAS系統(tǒng)中，如果是交換機(jī)問題，只需要使用備用交換機(jī)替換即可，如果是存儲設(shè)備故障，只需要把故障存儲關(guān)機(jī)，修改正常存儲的IP，再恢復(fù)上線即可，5 min內(nèi)即可完成，不會對正常業(yè)務(wù)造成太大的影響。NEUTRINO存儲的IP配置界面如圖5所示。

圖5 NEUTRINO存儲的IP配置界面(截圖)

2.4 平滑過渡

在存儲系統(tǒng)和非編系統(tǒng)升級期間，為了實(shí)現(xiàn)平滑過度，采用了新舊兩網(wǎng)同時存在且自由切換的方式。首先將原有SAN磁盤陣列上的數(shù)據(jù)復(fù)制到新NAS存儲設(shè)備中，考慮到在數(shù)據(jù)復(fù)制過程總?cè)杂行聰?shù)據(jù)產(chǎn)生，因此使用了差分復(fù)制的方式。數(shù)據(jù)復(fù)制完后在NAS存儲上模擬了原SAN系統(tǒng)的數(shù)據(jù)共享，這樣就實(shí)現(xiàn)了SAN系統(tǒng)順利過渡到NAS系統(tǒng)。

在保證了原有的非編網(wǎng)絡(luò)正常使用之后，在NAS存儲上劃出了新的存儲區(qū)，同時建立起新的非編網(wǎng)絡(luò)，這樣原有非編系統(tǒng)和新建非編系統(tǒng)就同時運(yùn)行在一套非編網(wǎng)硬件之上。為了實(shí)現(xiàn)平滑過渡，開發(fā)了一套軟件，使用者可以在任何一臺站點(diǎn)上自由切換新舊2套系統(tǒng)，這樣不僅保證了舊系統(tǒng)能夠繼續(xù)運(yùn)行一段時間，同時非編使用者也可以把舊系統(tǒng)數(shù)據(jù)導(dǎo)入到新系統(tǒng)中去，最終實(shí)現(xiàn)了新非編系統(tǒng)順利替代原有非編系統(tǒng)。

3 結(jié)束語

自新的NAS數(shù)據(jù)存儲方案完成并投入使用以來，該數(shù)據(jù)存儲方式確保了節(jié)目生產(chǎn)流程中數(shù)據(jù)的持續(xù)可用性，為實(shí)現(xiàn)安全播出提供了必要條件，并以操作簡單，易于維護(hù)，宕機(jī)成本低，得到了一致好評。

[1] 李大恒.基于ISCSI協(xié)議的IPSAN網(wǎng)絡(luò)存儲技術(shù)研究[D].湖南：國防科學(xué)技術(shù)大學(xué)，2006：1-83.

[2] 孫飛，劉光青，王瑩，等.十堰電視臺播出系統(tǒng)備份和應(yīng)急措施[J].電視技術(shù)， 2013,3(12)：82-85.

[3] 段劍弓.存儲系統(tǒng)NAS和SAN的差異和統(tǒng)一[J].計(jì)算機(jī)應(yīng)用研究，2004(12)：94-97.

[4] 陳華英.磁盤陣列RAID可靠性分析[J].電子科技大學(xué)學(xué)報，2006(3)：117-119.

責(zé)任編輯：閆雯雯

【本文獻(xiàn)信息】丁正良，蔣東軍.含山臺綜合視訊業(yè)務(wù)系統(tǒng)方案設(shè)計(jì)與應(yīng)用[J].電視技術(shù),2015，39(24).

NAS Based on Disk Array Mirroring

ZHENG Na,WU Zhou,ZHENG Chaoliang

(LiuzhouTVStation,GuangxiLiuzhou545006,China)

Considering the development and maintenance of IP SAN network storage system architecture, based on the future and practical needs, a new network storage system architecture NAS is built on disk array mirroring technology. It has the advantages of simple structure, low cost, easy deployment and maintenance, more efficient troubleshooting and handling, high scalability, and it provides real-time data sync, also can switch quickly between two disk arrays, which can ensure the security of program data.

IPSAN; FCSAN; NAS; network storage architecture; backup

TN948

B

10.16280/j.videoe.2015.24.021

2015-07-24