譚景賢

佛山電視臺存儲系統(tǒng)的應(yīng)用與維護(hù)

譚景賢

（作者單位：佛山電視臺）

佛山電視臺播出領(lǐng)域正在使用的GV Proflie視頻服務(wù)器與EMC CX700存儲架構(gòu)，其光纖通道具有封閉性。本文以佛山電視臺播出線上搭建SAN網(wǎng)絡(luò)存儲系統(tǒng)的案例，詳細(xì)闡述視頻服務(wù)器與網(wǎng)絡(luò)存儲系統(tǒng)之間的管理應(yīng)用與備份檢測手段，最終實(shí)現(xiàn)硬盤節(jié)目素材在播出系統(tǒng)中的素材交換。

Profile；CX700；MDC；FC-SAN；FCIP；ZONE

1　存儲系統(tǒng)設(shè)備的簡述

1.1Profile PVS1108視頻服務(wù)器

rofile PVS1108視頻服務(wù)器主機(jī)配備1塊1 GB以太網(wǎng)網(wǎng)卡和1塊2 GB的對外連接的光纖模塊，該模塊采用的是FCIP通訊控制協(xié)議。以太網(wǎng)傳輸?shù)氖窃O(shè)備物理地址和基本的數(shù)據(jù)信息，光纖網(wǎng)絡(luò)則負(fù)責(zé)硬盤素材在存儲網(wǎng)絡(luò)系統(tǒng)中的傳輸工作。

通過雙FC-AL（光纖通道仲裁環(huán)路）分別連接PFR700磁盤陣列（配置RAID3）的盤塔上作為該服務(wù)器的存儲區(qū)，PFR700磁盤陣列上的2個光纖環(huán)路互為熱備份，與服務(wù)器之間采用的是FC-SCSI通訊控制協(xié)議進(jìn)行數(shù)據(jù)的傳輸，速率最高可達(dá)到2 GB/s，固定在兩塊互相獨(dú)立、而且支持熱插拔的板卡模塊上，這種冗余設(shè)計有效地提高了視頻服務(wù)器的安全性和容錯能力，確保播出的安全。

1.2EMC第六代CLARiiON全光纖通道存儲系統(tǒng)—CX700

CX700二級存儲具有4個3 GHz的CPU處理器，8 G緩存，內(nèi)部配備兩臺存儲控制器（SPA、SPB），分別有4個2 GB的光纖通道，采用的是FCP-SCSI-3通訊控制協(xié)議對外進(jìn)行數(shù)據(jù)的傳輸，提供了強(qiáng)大的計算處理能力；同時配備兩塊UPS電池，在遇到電力中斷的情況時，能把Cache里的數(shù)據(jù)完整寫入磁盤中，有效地防止數(shù)據(jù)的丟失。從而構(gòu)成一個具有領(lǐng)先競爭能力的網(wǎng)絡(luò)存儲環(huán)境，與千兆以太網(wǎng)絡(luò)相比，傳輸速度更快，效率更高，更安全。

佛山電視臺目前播出的視頻服務(wù)器設(shè)置播出的視頻帶寬為12 MB/s，采用Mpeg2編碼格式，1小時的視音頻素材文件大小約為6 G。配備45塊SCSI 300G/10000轉(zhuǎn)SCSI硬盤，總存儲容量為12 T，可以存儲2 000小時的節(jié)目量，按6+1頻道，每天12小時的增播量來計算，因此完全具備了近1個月的節(jié)目存儲能力。

由于使用的遷移服務(wù)器（MDC）操作系統(tǒng)是Win2000 Server，受文件系統(tǒng)的限制，

最大的邏輯卷也只能分配2 TB的存儲容量，因此把12 T的總存儲量劃分成了6個卷組，每個卷組由7塊300 G硬盤組成，采用RAID5冗余技術(shù)，實(shí)際有效容量為1.56 T。在整個二級存儲體內(nèi)還配備3塊熱備盤，冗余度較高，即使不同卷組內(nèi)的4塊盤同時損壞，也能夠確保存儲數(shù)據(jù)不會丟失。

2　存儲網(wǎng)絡(luò)系統(tǒng)的管理與應(yīng)用

存儲網(wǎng)絡(luò)系統(tǒng)設(shè)計以遷移服務(wù)器作為MDC。MDC（Metadata Controller）是指元數(shù)據(jù)控制器，它是通過光纖網(wǎng)絡(luò)訪問存儲設(shè)備磁盤陣列中數(shù)據(jù)文件最為重要的核心服務(wù)器。

2.1運(yùn)行環(huán)境

Win2000 Server SP4。FC-SCSI協(xié) 議的光纖卡、Emulex LP1050和FCIP協(xié)議的光纖卡、QLoglc 2340。EMC PowerPath通過FC網(wǎng)絡(luò)能識別出CX700所存在的6個LUN，但不能訪問，因此未分配權(quán)限。且該軟件能實(shí)時監(jiān)測MDC與CX700兩臺處理機(jī)之間的FC光纖通道是否正常，一旦其中一臺處理機(jī)的光纖通道發(fā)生異常時，該軟件能提供自動故障切換，6個LUN的數(shù)據(jù)處理會自動分配到另外一臺處理機(jī)進(jìn)行處理，這一冗余的設(shè)計確保數(shù)據(jù)的高可用性和數(shù)據(jù)訪問的高性能。

EMC Navisphere Agent注冊軟件，把MDC計算機(jī)名（MOVE）和FC-SCSI協(xié)議的光纖卡物理地址向CX700發(fā)送注冊請求，直接獲取CX700中6個LUN的訪問權(quán)限。

SANergy管理軟件，配置MDC作為CX700二級存儲的唯一管理者，通過FC網(wǎng)絡(luò)使CX700

6個LUN成為MDC的本地硬盤，負(fù)責(zé)對6個LUN的磁盤進(jìn)行管理，實(shí)現(xiàn)數(shù)據(jù)讀寫操作。

2.2FCIP隧道傳輸技術(shù)的應(yīng)用

FCIP（Fibre Channel Over IP），它是基于IP協(xié)議的光纖通道。在MDC上安裝一塊FCIP協(xié)議的光纖卡和一塊FC-SCSI協(xié)議的光纖卡，（如圖1所示）FCIP協(xié)議利用IP網(wǎng)絡(luò)創(chuàng)建隧道在PROFILE視頻服務(wù)器和CX700二級存儲兩個FC-SAN網(wǎng)絡(luò)之間實(shí)現(xiàn)FC-SCSI協(xié)議的數(shù)據(jù)傳輸，從而建立IP-SAN存儲網(wǎng)絡(luò)架構(gòu)，使數(shù)據(jù)的傳輸變得更加靈活，使數(shù)據(jù)的管理更加方便。

圖1　FCIP隧道傳輸網(wǎng)絡(luò)架構(gòu)

需要注意的是：FCIP構(gòu)建的IP-SAN存儲并不是指整個SAN存儲系統(tǒng)都是采用IP技術(shù)構(gòu)建，而是指不不同的SAN之間的數(shù)據(jù)相互傳輸是采用IP通道進(jìn)行的；PROFILE視頻服務(wù)器和CX700網(wǎng)絡(luò)存儲系統(tǒng)內(nèi)部仍然采用FC-SCSI協(xié)議進(jìn)行數(shù)據(jù)的傳輸，也就是說IP-SAN并不是一個純IP網(wǎng)絡(luò)，而是FC與IP技術(shù)的一種融合；FCIP協(xié)議實(shí)際上就是一種隧道傳輸協(xié)議，它是通過FCIP網(wǎng)關(guān)來實(shí)現(xiàn)的，存儲系統(tǒng)的數(shù)據(jù)均必須通過公用的隧道進(jìn)行數(shù)據(jù)的傳輸，但不能為PROFILE視頻服務(wù)器和CX700存儲系統(tǒng)提供IP連接，即FCIP不能利用IP做FC存儲設(shè)備的點(diǎn)到點(diǎn)連接。

2.3ZONE在存儲網(wǎng)絡(luò)系統(tǒng)的應(yīng)用

佛山電視臺采用FCIP隧道技術(shù)的IP-SAN方案來解決兩個FC-SAN之間的數(shù)據(jù)傳輸，F(xiàn)C_SAN發(fā)送端的數(shù)據(jù)必須通過遷移服務(wù)器（MDC）作為公用隧道進(jìn)行傳輸，接收端則通過QLogic光纖交換機(jī)把數(shù)據(jù)往適當(dāng)?shù)墓饫w通道端點(diǎn)設(shè)備進(jìn)行引導(dǎo)。因此，需要對QLogic光纖交換機(jī)的光纖端口進(jìn)行邏輯劃分出不同區(qū)域。配備3臺QLogic光纖交換機(jī)，利用存儲設(shè)備光纖卡的物理地址具有唯一性的特點(diǎn)，通過SANbox Manager軟件，對其接入的光纖端口以及存儲設(shè)備的光纖卡物理地址進(jìn)行捆綁做ZONE。

遷移服務(wù)器（主）FC-SCSI協(xié)議的光纖卡和CX700存儲系統(tǒng)處理機(jī)SPA、SPB的FCP-SCSI協(xié)議的A0、B0光纖通道做ZONE1。

遷移服務(wù)器（備）FC-SCSI協(xié)議的光纖卡和CX700存儲系統(tǒng)處理機(jī)SPA、SPB的FCP-SCSI協(xié)議的A2、B2光纖通道做ZONE2。

遷移服務(wù)器（主）FCIP協(xié)議的光纖卡和播出服務(wù)器（主、備）、上載服務(wù)器（主、備）的4臺PROFILE視頻服務(wù)器FCIP協(xié)議的光纖模塊做ZONE3。

遷移服務(wù)器（備）FCIP協(xié)議的光纖卡和播出服務(wù)器（主、備）、上載服務(wù)器（主、備）的4臺PROFILE視頻服務(wù)器FCIP協(xié)議的光纖模塊做ZONE4。

ZONE1與ZONE3配 置 為MAIN ZONE，ZONE2與 ZONE4配置為BACKUP ZONE。

2.4存儲網(wǎng)絡(luò)系統(tǒng)的應(yīng)用

佛山電視臺的整個制播網(wǎng)絡(luò)是由非編網(wǎng)與播出網(wǎng)組成，通過TCP/IP千兆以太網(wǎng)交換機(jī)相連接，因此非編提交工作站是通過TCP/IP網(wǎng)絡(luò)映射到遷移服務(wù)器（MDC）的本地磁盤，該磁盤為CX700二級存儲的1個LUN，并采用網(wǎng)絡(luò)文件傳輸協(xié)議FTP將節(jié)目硬盤素材傳輸?shù)紺X700二級存儲，再傳輸?shù)讲コ龇?wù)器的磁盤陣列盤塔中，用于播出。簡單地說，這就是一個復(fù)制、粘貼的過程。

3　存儲網(wǎng)絡(luò)系統(tǒng)的備份與檢測

3.1備份手段

佛山電視臺配備多一臺遷移服務(wù)器作為熱備份，正常情況下，該遷移服務(wù)器（備）的網(wǎng)線與光纖都處于斷開狀態(tài)，確保與遷移服務(wù)器（主）的存儲網(wǎng)絡(luò)系統(tǒng)分離。充分利用到CX700二級存儲具有主備冗余的設(shè)計，確保整個存儲網(wǎng)絡(luò)系統(tǒng)沒有單一崩潰點(diǎn)，一旦遷移服務(wù)器（主）出現(xiàn)故障或ZONE1中的存儲設(shè)備和光纖交換機(jī)發(fā)生故障時，會導(dǎo)致存儲網(wǎng)絡(luò)系統(tǒng)無法正常工作時，采用簡單的手動倒換方法就能在短時間內(nèi)實(shí)現(xiàn)對存儲網(wǎng)絡(luò)系統(tǒng)的恢復(fù)。

關(guān)閉遷移服務(wù)器（主），待完全關(guān)閉后，手動地把遷移服務(wù)器（備）的網(wǎng)線與光纖接上；進(jìn)入SANbox Manager軟件激活BACKUP ZONE；利用IE瀏覽器進(jìn)入CX700的監(jiān)控界面，重新對存儲系統(tǒng)進(jìn)行Update操作（如圖2所示）；查看光纖通道工作情況。

圖2　CX700中SPA、SPB對外連接的工作狀態(tài)

3.2光纖通道的檢測手段

當(dāng)播出服務(wù)器、上載服務(wù)器與遷移服務(wù)器三者之間的光纖通道出現(xiàn)異常時，會導(dǎo)致硬盤

節(jié)目素材同步、回遷、遷移發(fā)生任務(wù)錯誤。此時對照（如表1所示）的光纖IP表

表1　IP協(xié)議光纖卡的IP列表

打開操作界面對存儲設(shè)備的IP協(xié)議光纖通道網(wǎng)絡(luò)進(jìn)行檢測。

當(dāng)硬盤節(jié)目素材回遷、遷移任務(wù)或非編提交素材的處理時間相對較長時，會影響硬盤節(jié)目傳輸?shù)墓ぷ餍剩瑢?dǎo)致任務(wù)大塞車。通過SANergy測試遷移服務(wù)器對CX700二級存儲各個LUN的數(shù)據(jù)讀寫速度是否正常，正常情況下，速度可以達(dá)到150 MB/s以上。

4　結(jié)語

佛山電視臺存儲網(wǎng)絡(luò)系統(tǒng)自投入使用以來，系統(tǒng)運(yùn)行安全、穩(wěn)定。CX700二級存儲具有較高的安全性和冗余技術(shù)，為節(jié)目硬盤素材的傳輸安全提供了技術(shù)保障，采用FCIP隧道技術(shù)的IP-SAN方案，在Profile視頻服務(wù)器和CX700二級存儲兩個FC-SAN網(wǎng)絡(luò)之間實(shí)現(xiàn)FC-SCSI協(xié)議的數(shù)據(jù)傳輸，傳輸速度可以達(dá)到150 MB/s以上，與千兆以太網(wǎng)絡(luò)相比，傳輸速度更快，效率更高，更安全，大大提高了工作效率。

[1]楊勇.FC SAN與IP SAN全面比較[J].廣播與電視技術(shù),2007(120).

[2]王寧.硬盤播控系統(tǒng)與二級存儲系統(tǒng)設(shè)計[J].廣播與電視技術(shù),2007(7).

[3]譚釗.非線性網(wǎng)絡(luò)存儲系統(tǒng)高可用性的解決之道:雙存儲架構(gòu)[J].廣播與電視技術(shù),2013(1).

譚景賢（1972-），男，廣東東莞人，本科，工程師，在佛山電視臺從事廣播電視工作20年，研究方向：廣播電視技術(shù)。