桑曉霞,周 侃,楊 鋒
射陽廣播電視臺,江蘇鹽城 224300
小型電視臺存儲技術(shù)應(yīng)用探討
桑曉霞,周 侃,楊 鋒
射陽廣播電視臺,江蘇鹽城 224300
本文討論了SAN技術(shù)在縣級臺的應(yīng)用,對SAN的硬件和軟件、管理軟件以及協(xié)議標(biāo)準(zhǔn)作了詳細(xì)的介紹,與其它存儲技術(shù)做了簡單的比較,對廣播電視行業(yè)幾種常見的網(wǎng)絡(luò)架構(gòu)進(jìn)行了分析,對SAN的數(shù)據(jù)容災(zāi)備份和災(zāi)難恢復(fù)進(jìn)行了探討,并就SAN技術(shù)在縣級臺的應(yīng)用做了一個(gè)基于媒體資產(chǎn)管理系統(tǒng)的SAN搭建方案。具體分析了搭建SAN所用到的各種設(shè)備和技術(shù),包括SAN的硬件設(shè)備、使用的協(xié)議、網(wǎng)絡(luò)架構(gòu)、編碼格式、管理軟件、備份方式、備份恢復(fù)方案等。
SAN;存儲技術(shù);小型電視臺;網(wǎng)絡(luò);媒資管理系統(tǒng)
隨著廣播電視數(shù)字化、網(wǎng)絡(luò)化的高速發(fā)展,視音頻節(jié)目數(shù)量的日益增長,搶救基于磁帶存儲的老節(jié)目素材以及考慮現(xiàn)有節(jié)目素材的存儲都迫在眉睫。在這種情況下,節(jié)目資源的即時(shí)存儲、快速調(diào)用、數(shù)據(jù)管理和數(shù)據(jù)安全都愈發(fā)變得十分重要。解決這個(gè)問題的方法就是采用SAN。而SAN則是現(xiàn)代網(wǎng)絡(luò)存儲技術(shù)中廣泛應(yīng)用的主流技術(shù)。在電視臺,隨著各個(gè)部門的聯(lián)系越來越緊密,視音頻節(jié)目數(shù)量越來越多,數(shù)字化進(jìn)程的日益加快,節(jié)目資源的即時(shí)存儲、快速調(diào)用、數(shù)據(jù)管理和數(shù)據(jù)安全都愈發(fā)變得十分重要。通過SAN把各個(gè)部門聯(lián)系起來,不光節(jié)省了時(shí)間和金錢,而且解決了上述的問題。由此可見,研究SAN存儲技術(shù)對加快電視臺數(shù)字化進(jìn)程以及電視臺的戰(zhàn)略性發(fā)展都有著不可估量的作用。
1.1 存儲區(qū)域網(wǎng)絡(luò)
按照存儲網(wǎng)絡(luò)工業(yè)協(xié)會(SNIA)的定義:SAN(Storage Area Network,——存儲區(qū)域網(wǎng)絡(luò))是一種利用Fibre Channel等協(xié)議連接起來的,可以在服務(wù)器與存儲系統(tǒng)之間直接傳送數(shù)據(jù)的網(wǎng)絡(luò)。
SAN是一種存儲網(wǎng)絡(luò)系統(tǒng)的體系結(jié)構(gòu),它采用獨(dú)特的連接技術(shù)(如FC光纖通道)構(gòu)建與原有的LAN不同的專用于存儲的網(wǎng)絡(luò),存儲設(shè)備和服務(wù)器之間通過串行SCSI協(xié)議采用Block1/0的方式進(jìn)行數(shù)據(jù)傳輸。SAN是基于專用的光纖通道構(gòu)建的網(wǎng)絡(luò),數(shù)據(jù)傳輸方式是數(shù)據(jù)塊傳輸。
SAN的主要思路是將LAN上的存儲轉(zhuǎn)換到主要由存儲設(shè)備組成的SAN上,使得數(shù)據(jù)的訪問、備份和恢復(fù)不影響LAN的性能,在有大量數(shù)據(jù)訪問時(shí),不會大幅度降低網(wǎng)絡(luò)性能?;赟AN的存儲模式既實(shí)現(xiàn)了集中式的數(shù)據(jù)存儲和管理,又解決了數(shù)據(jù)流量的瓶頸,同時(shí)又具有較強(qiáng)的靈活性、可擴(kuò)展性和連接能力等特點(diǎn)。
1.2 SAN的硬件
1.2.1 存儲設(shè)備
1)廉價(jià)磁盤冗余陣列RAID,包括磁盤陣列、光盤庫、磁帶庫等大容量存儲設(shè)備。常用的RAID(Redundant Arrays of Inexpensive Disks)是一種大數(shù)據(jù)量的數(shù)據(jù)存儲方法,用在日益增長的圖像系統(tǒng)、多媒體開發(fā)系統(tǒng)和因特網(wǎng)上的各種服務(wù)器中。
組成磁盤陣列的不同方式成為RAID級。RAID技術(shù)經(jīng)過不斷的發(fā)展,現(xiàn)在已擁有了從 RAID 0 到 53等10個(gè)RAID 級別,分別為RAID 0、RAID1,RAID2,RAID3,RAID4,RAID5,RAID6,RAID7,RAID10,RAID53。
2)磁帶庫是一種機(jī)柜式的,將多臺磁帶機(jī)整合到一個(gè)封閉的系統(tǒng)中的數(shù)據(jù)存儲設(shè)備,是離線備份存儲系統(tǒng)中的關(guān)鍵設(shè)備之一。
1.2.2 SAN網(wǎng)絡(luò)設(shè)備
SAN網(wǎng)絡(luò)中主要包括如下的設(shè)備:
1)主機(jī)和主機(jī)適配器(FC-HBA):連接SAN存儲設(shè)備的主機(jī)必須有和SAN存儲設(shè)備連接的主機(jī)適配卡(Host Buss Adapter, HBA)。HBA是一個(gè)I/O設(shè)備,類似于SCSI卡和網(wǎng)卡;
2)FC-AL集線器: FC-AL集線器又稱為光纖環(huán)路仲裁環(huán)集線器,F(xiàn)C-AL集線器的設(shè)備連接方式類似于一般的集線器,設(shè)備連接呈現(xiàn)星形而邏輯結(jié)構(gòu)為仲裁環(huán);
3)FC交換機(jī):類似于FC-AL集線器,F(xiàn)C交換機(jī)也是SAN存儲結(jié)構(gòu)的組網(wǎng)設(shè)備,負(fù)責(zé)主機(jī)與存儲設(shè)備的連接;
4)橋接設(shè)備:橋接設(shè)備起到將以前的并行的SCSI存儲設(shè)備連接到SAN網(wǎng)絡(luò)中的作用;
5)連接纜線:用于連接SAN的設(shè)備。
1.3 SAN軟件
SAN的應(yīng)用和管理軟件包括:備份軟件、存儲資源管理軟件、網(wǎng)絡(luò)共享管理操作系統(tǒng)軟件。
1.3.1 資源管理軟件 SANegry
SANergy使用戶能夠通過實(shí)施存儲區(qū)域網(wǎng)絡(luò)(SAN)透明地共享公用存儲器、卷和文件的存?。豢梢允筓NIX、Windows和Apple Macintosh系統(tǒng)在卷、文件和字節(jié)級上跨平臺共享存儲資源,從而比基于服務(wù)器共享的方式大大增加吞吐量,降低管理費(fèi)。通過合并存儲空間和消除多主機(jī)環(huán)境中常見的復(fù)制數(shù)據(jù)而獲得的高性能共享式存儲環(huán)境,能顯著降低成本。
1.3.2 網(wǎng)絡(luò)共享管理操作系統(tǒng)軟件
常見的網(wǎng)絡(luò)共享管理操作系統(tǒng)軟件有NetWare、UNIX、Linux和 Windows Server 2003等,一般選擇Windows Server 2003作為共享管理的操作系統(tǒng)軟件和服務(wù)器操作系統(tǒng)軟件。Windows Server 2003提供許多全新的SAN友好特性,允許操作系統(tǒng)更輕松地處理SAN上的數(shù)據(jù)與設(shè)備。
1.4 SAN協(xié)議和標(biāo)準(zhǔn)
1.4.1 SAN協(xié)議
1)FCIP是在TCP/IP上用管道技術(shù)來實(shí)現(xiàn)SAN的互聯(lián)的協(xié)議。它采用封裝技術(shù)將FC協(xié)議封裝在IP包中,以使它能夠通過IP網(wǎng)。已經(jīng)擁有SAN網(wǎng)的用戶可以通過FCIP調(diào)整已經(jīng)存在的SAN存儲網(wǎng)絡(luò),以使它們能夠擴(kuò)展到城域網(wǎng)和廣域網(wǎng)。FCIP是一種將多個(gè)孤立的SAN存儲網(wǎng)絡(luò)連接起來的手段;
2)iFCP協(xié)議稱為互聯(lián)網(wǎng)光纖通道協(xié)議,是利用TCP/IP協(xié)議傳送光纖通道數(shù)據(jù)的協(xié)議。IFCP作為網(wǎng)關(guān)將不同SAN網(wǎng)絡(luò)中的存儲設(shè)備連接起來,形成統(tǒng)一的網(wǎng)絡(luò)存儲系統(tǒng);
3)iSCSI協(xié)議的實(shí)質(zhì)是實(shí)現(xiàn)了基于TCP/IP網(wǎng)絡(luò)傳輸SCSI指令,也就是說SCSI over IP,從本質(zhì)上說它與FC協(xié)議之間的區(qū)別僅在于傳輸層的協(xié)議不同,而對于應(yīng)用層來說是完全透明的,通過iSCSI協(xié)議可以實(shí)現(xiàn)對存儲設(shè)備的數(shù)據(jù)塊級別的共享訪問。
1.4.2 SAN標(biāo)準(zhǔn)
在存儲領(lǐng)域,現(xiàn)在主要有兩種主要的標(biāo)準(zhǔn):FC-SW2光纖通道標(biāo)準(zhǔn)和MIB標(biāo)準(zhǔn)。光纖通道標(biāo)準(zhǔn)用于保證光纖通道交換機(jī)之間的兼容性。這是“開放交換機(jī)光纖網(wǎng)提案組(OSFI)”的專門性委員會制定的FC-SW2標(biāo)準(zhǔn)。
2.1 電視臺建造SAN的必要性和可行性
隨著電視節(jié)目音像資料的數(shù)字化存儲的實(shí)現(xiàn),將涉及到壓縮、存儲、網(wǎng)絡(luò)傳輸、管理等信息處理技術(shù),而不是簡單的存儲方式和存儲介質(zhì)的改變,它是電視臺實(shí)現(xiàn)節(jié)目生產(chǎn)數(shù)字化的一個(gè)重要組成部分。由于電視臺的節(jié)目素材具有數(shù)據(jù)量大、帶寬要求高、數(shù)據(jù)安全敏感等特征,建造SAN已是大勢所趨。
2.2 系統(tǒng)設(shè)計(jì)原則
1)開放性:設(shè)計(jì)的系統(tǒng)是開放式的;
2)先進(jìn)性:采用的技術(shù)是先進(jìn)的、符合發(fā)展方向的,同時(shí)是成熟的、穩(wěn)定的。系統(tǒng)的設(shè)計(jì)、設(shè)備的選型及工程的施工,符合我國廣播電視規(guī)范。符合國際廣播電視發(fā)展潮流;
3)可擴(kuò)充性:系統(tǒng)具備較強(qiáng)的升級擴(kuò)容能力、當(dāng)存儲、編目、檢索工作量擴(kuò)大到至當(dāng)前系統(tǒng)無法承擔(dān)時(shí),系統(tǒng)可以通過特定的設(shè)備(數(shù)據(jù)流磁帶庫、磁盤陣列、工作站點(diǎn)等),能在不影響和中斷當(dāng)前制作系統(tǒng)運(yùn)行下,進(jìn)行系統(tǒng)的平滑升級;
4)安全性:系統(tǒng)的安全性設(shè)計(jì)是整個(gè)系統(tǒng)的設(shè)計(jì)的關(guān)鍵環(huán)節(jié)。采用可靠的技術(shù)手段,在媒體資料存儲安全、數(shù)據(jù)傳輸安全、內(nèi)部網(wǎng)絡(luò)安全保護(hù)、軟件容錯(cuò)及質(zhì)量控制等各方面確保整個(gè)系統(tǒng)的安全性;
5)可維護(hù)性:系統(tǒng)具備完善的管理性能,設(shè)備簡單、直觀、維護(hù)管理方便。在系統(tǒng)設(shè)計(jì)中提供有效的系統(tǒng)監(jiān)控手段和軟硬件工具,以便監(jiān)測網(wǎng)絡(luò)通信系統(tǒng)、計(jì)算機(jī)主機(jī)和存儲系統(tǒng)的運(yùn)行狀態(tài),保證系統(tǒng)正常運(yùn)行。
2.3 系統(tǒng)拓?fù)浣Y(jié)構(gòu)
在此方案里,采用以SAN來搭建一個(gè)媒體資產(chǎn)管理系統(tǒng),從性價(jià)比考慮,系統(tǒng)網(wǎng)絡(luò)架構(gòu)采用目前應(yīng)用廣泛的以太網(wǎng)和FC光纖網(wǎng)相結(jié)合的雙網(wǎng)結(jié)構(gòu)。所有工作站點(diǎn)可以通過iSCSI控制器訪問中心FC存儲上的高碼率素材,局部采用FC SAN點(diǎn)對點(diǎn)與磁帶庫系統(tǒng)連接,系統(tǒng)內(nèi)部建造全SAN高速網(wǎng)絡(luò)。
2.4 編碼格式選擇
采用MPEG 2編碼格式用于節(jié)目制作和播出,選用H.264或者M(jìn)PEG4編碼用于低碼率編目和檢索。文件交換格式采用MXF。
2.5 SAN軟件的選擇
選擇常見的Windows Server 2003 作為網(wǎng)絡(luò)管理操作系統(tǒng)和服務(wù)器操作系統(tǒng),SQL server 2000 作為數(shù)據(jù)庫軟件。
一、嚴(yán)格執(zhí)行最低建設(shè)要求。列入政府補(bǔ)助范圍的農(nóng)村危房改造(含新疆農(nóng)村安居工程)要在設(shè)計(jì)、施工、驗(yàn)收等環(huán)節(jié)嚴(yán)格執(zhí)行最低建設(shè)要求,確保農(nóng)村危房改造后每戶住房均不低于最低建設(shè)要求。
選用SANergy作為資源管理軟件,iSCSI磁盤陣列用于低碼率素材存儲,光纖磁盤陣列和磁帶庫可用于高碼率磁帶存儲。
2.6 SAN采用的硬件
2.6.1 各個(gè)媒資工作站配置
管理工作站4臺4臺8臺4臺2臺2臺2臺4臺上下載工作站音視頻轉(zhuǎn)碼工作站編目工作站非編工作站節(jié)目收錄工作站審片工作站檢索工作站
2.6.2 服務(wù)器配置
MDC服務(wù)器:MDC(Metadata Controller)是指元數(shù)據(jù)控制器,它是SAN網(wǎng)絡(luò)中設(shè)備訪問磁盤陣列文件的最為重要的核心服務(wù)器,如果發(fā)生故障會導(dǎo)致網(wǎng)絡(luò)中的各功能工作站無法訪問盤陣內(nèi)的共享資源。
2.6.3 交換機(jī)配置
以太網(wǎng)交換機(jī):選用了2臺具有48端口的千兆以太網(wǎng)交換機(jī),每個(gè)交換機(jī)在滿足需求的同時(shí)預(yù)留了8個(gè)端口,具有一定的擴(kuò)展性。兩臺交換機(jī)連接方式是級聯(lián)。
另外還有其他一些設(shè)備:包括路由器,轉(zhuǎn)換器等。
2.7 SAN使用的協(xié)議
采用SCSI協(xié)議、FC光纖通道協(xié)議,TCP/IP協(xié)議。
2.8 SAN通信的方式
SAN文件是以數(shù)據(jù)塊的形式傳輸?shù)模皇菙?shù)據(jù)流。與設(shè)備通信的過程是:計(jì)算機(jī)的應(yīng)用程序通過運(yùn)行在服務(wù)器本機(jī)上的文件系統(tǒng)與磁盤陣列對話。應(yīng)用程序請求本機(jī)文件系統(tǒng)把某一個(gè)目錄下的文件傳到應(yīng)用程序的緩沖區(qū),這是文件系統(tǒng)開始計(jì)算該文件占用的磁盤扇區(qū)的LBA地址,計(jì)算好后文件系統(tǒng)向SAN請求把LBA的某個(gè)扇區(qū)里的內(nèi)容傳給文件系統(tǒng)。SAN磁盤陣列接收到這個(gè)請求之后,便從它自身的眾多磁盤中提取數(shù)據(jù),通過FC網(wǎng)絡(luò)傳送給運(yùn)行著文件系統(tǒng)程序的節(jié)點(diǎn)(服務(wù)器主機(jī))。文件系統(tǒng)接收到扇區(qū)內(nèi)容之后,根據(jù)文件系統(tǒng)記錄截掉扇區(qū)多余的部分,將整理后的數(shù)據(jù)放入請求這個(gè)數(shù)據(jù)的應(yīng)用程序。
2.9 備份恢復(fù)方案
2.9.1 備份軟件的選擇
在這里,考慮到各種復(fù)雜情況,建議采用專業(yè)的備份恢復(fù)軟件:惠普公司的HP OpenView軟件進(jìn)行備份恢復(fù)。
2.9.2 備份系統(tǒng)架構(gòu)和備份類型的選擇
根據(jù)本系統(tǒng)FC+以太網(wǎng)的特點(diǎn)和所具備的條件,從節(jié)約成本和性能優(yōu)劣考慮,同時(shí)使用LAN備份、手工備份、SAN備份3種備份方式。
2.9.3 備份數(shù)據(jù)的保存方式
根據(jù)本此方案實(shí)際需求,考慮到具備磁盤存儲和磁帶庫的條件下,為了達(dá)到最好的服務(wù)質(zhì)量、更快速的服務(wù)響應(yīng)以及既定的備份策略,所以采用D2D2T方式。
2.9.4 容災(zāi)備份架構(gòu)
該架構(gòu)的特點(diǎn):
1)采用了高效的LAN備份、手工備份、SAN備份3種備份方式,占用盡量少的網(wǎng)絡(luò)帶寬。第一次完全備份,以后只要做增量備份就可以了;
2)能夠?qū)Σ僮飨到y(tǒng)軟件、數(shù)據(jù)庫等進(jìn)行備份;
3)快速的恢復(fù),能夠快速的恢復(fù)文件系統(tǒng)上的單個(gè)或者多個(gè)文件;
4)方便維護(hù)管理,可以支持遠(yuǎn)程的維護(hù)和管理;
5)支持?jǐn)帱c(diǎn)續(xù)傳;
6)采用LAN備份、手工備份、SAN備份3種備份方式對數(shù)據(jù)進(jìn)行備份恢復(fù)。
隨著全國各地電視臺的數(shù)字化改造不斷深入,以往的基于磁帶存儲的素材都急需數(shù)字化。在媒體資產(chǎn)的概念提出的情況下,節(jié)目素材也成為一種經(jīng)濟(jì)收入來源,很多磁帶的壽命已經(jīng)到期,如果不加以搶救,以前的各種素材就會丟失。這對任何一家電視臺來說都是一筆不小的損失。再者,記者剛剛拍回來的素材以及各種節(jié)目也需要及時(shí)的存儲、編輯和管理。這時(shí)將SAN技術(shù)應(yīng)用到電視臺中就成為解決問題的好辦法。
TN94
A
1674-6708(2010)32-0234-02