茍向元
(浙江杭海城際鐵路有限公司,浙江 海寧 314499)
目前,軌道交通視頻監(jiān)視系統(tǒng)普遍采用1080P高清IP攝像機(jī),為滿足全高清存儲(chǔ)要求,其視頻碼率一般按4 Mb/s考慮。一條約20個(gè)車站的軌道交通線路所需的視頻圖像存儲(chǔ)容量約上萬(wàn)太字節(jié),若采用4K制式,則存儲(chǔ)量還要增加3倍。為應(yīng)對(duì)如此海量圖像高可靠性的存儲(chǔ),本文提出了云存儲(chǔ)的技術(shù)方案,并進(jìn)行了相應(yīng)的闡述和探討。
直接連接存儲(chǔ)(Direct Attached Storage,DAS)是指通過(guò)專用線纜將外部存儲(chǔ)設(shè)備直接連接到服務(wù)器上。采用相應(yīng)的存儲(chǔ)通道技術(shù),外部存儲(chǔ)直接掛在內(nèi)部總線上,即外部存儲(chǔ)是服務(wù)器的一部分[1]。
網(wǎng)絡(luò)附加存儲(chǔ)(Network Attached Storage,NAS)是一種文件共享服務(wù)。采用一臺(tái)專門用于存儲(chǔ)設(shè)備管理和存儲(chǔ)文件的服務(wù)器,安裝專門的操作系統(tǒng),網(wǎng)絡(luò)中的用戶通過(guò)以太網(wǎng)訪問(wèn)此服務(wù)器,此服務(wù)器也作為網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)。
存儲(chǔ)區(qū)域網(wǎng)絡(luò)(Storage Aera Network,SAN)通過(guò)網(wǎng)絡(luò)連接服務(wù)器及存儲(chǔ)設(shè)備的構(gòu)架,專用于用戶與存儲(chǔ)設(shè)備間的訪問(wèn)。SAN又分FC-SAN和IP-SAN,用戶通過(guò)專用交換機(jī)連接存儲(chǔ)設(shè)備[1]。
在軌道交通中,網(wǎng)絡(luò)視頻存儲(chǔ)器(Network Video Recorder,NVR)存儲(chǔ)技術(shù)成熟,應(yīng)用普遍,主要包含SAN(IP-SAN、FC-SAN)存儲(chǔ)技術(shù)、NAS存儲(chǔ)技術(shù)以及DAS存儲(chǔ)技術(shù)幾大類[2]。目前,軌道交通工程一般推薦采用IP-SAN存儲(chǔ)方式,主要原因包括以下3點(diǎn)。
一是DAS方式的存儲(chǔ)擴(kuò)展性差,有新的需求需單獨(dú)配置相應(yīng)的存儲(chǔ)設(shè)備,利用率低,且不同應(yīng)用服務(wù)器面對(duì)的存儲(chǔ)數(shù)據(jù)量不一致,可管理性差,異構(gòu)化嚴(yán)重。二是NAS方式的存儲(chǔ)可通過(guò)以太網(wǎng)連接至服務(wù)器,也可即插即用,但設(shè)備大小限制NAS的擴(kuò)展性,增加單臺(tái)NAS設(shè)備容易,但將兩臺(tái)NAS設(shè)備無(wú)縫合并卻很困難。三是SAN的存儲(chǔ)方式與NAS相比,前者是面向海量數(shù)據(jù)塊的傳輸,后者是一種文件共享服務(wù)并提供文件級(jí)數(shù)據(jù)訪問(wèn)。SAN具有設(shè)備易整合、數(shù)據(jù)易集中以及擴(kuò)展性強(qiáng)的優(yōu)點(diǎn)。同為SAN的FCSAN和IP-SAN各有特點(diǎn),F(xiàn)C-SAN由于FC協(xié)議發(fā)展時(shí)間短,在成熟度和互聯(lián)性上無(wú)法與以太網(wǎng)相比,兼容性較差,先期設(shè)備成本和長(zhǎng)期維護(hù)成本也較高。IP-SAN基于以太網(wǎng)技術(shù)并繼承了其優(yōu)點(diǎn),利用高速以太網(wǎng)絡(luò)連接服務(wù)器及存儲(chǔ)設(shè)備將SCSI指令和數(shù)據(jù)塊經(jīng)過(guò)高速以太網(wǎng)傳輸,建立的存儲(chǔ)資源平臺(tái)具有開放、高性能、高可靠性以及高可擴(kuò)展的特點(diǎn)[3]。
SAN雖然具有良好的擴(kuò)展性、較快的傳輸速度以及可實(shí)現(xiàn)集中管理的特性,滿足了目前軌道交通行業(yè)的部分要求,但是卻不能滿足高清視頻高可靠性存儲(chǔ)的需求。
本方案是指控制中心、車輛段、車站的服務(wù)器以及存儲(chǔ)設(shè)備等由城市軌道交通統(tǒng)一云平臺(tái)統(tǒng)一提供資源池(包括計(jì)算、存儲(chǔ)等),即IaaS服務(wù)[4]。視頻云存儲(chǔ)方式有集中式云存儲(chǔ)和分布式云存儲(chǔ)兩種。
各車站視頻圖像集中存儲(chǔ)在控制中心云存儲(chǔ)設(shè)備上,存儲(chǔ)時(shí)間按90天考慮。為防止網(wǎng)絡(luò)故障引起的視頻圖像數(shù)據(jù)丟失,在各車站本地再存儲(chǔ)7天。
在各車站、控制中心或車輛段設(shè)置云存儲(chǔ)設(shè)備,利用傳輸通道構(gòu)成視頻存儲(chǔ)網(wǎng)絡(luò),車站視頻圖像通過(guò)網(wǎng)絡(luò)分散存儲(chǔ)在不同站點(diǎn)的云存儲(chǔ)設(shè)備上。
存儲(chǔ)方案比較如表1所示。
表1 存儲(chǔ)方案比較
綜合以上而言,軌道交通視頻監(jiān)視云存儲(chǔ)方案推薦采用集中式存儲(chǔ),維護(hù)方便,待形成線網(wǎng)規(guī)模后多條線統(tǒng)一存儲(chǔ),滿足未來(lái)線網(wǎng)層數(shù)據(jù)融合和智能應(yīng)用。
控制中心集中存儲(chǔ)如圖1所示。
圖1 控制中心集中存儲(chǔ)
軌道交通視頻監(jiān)視云存儲(chǔ)方案推薦采用對(duì)象存儲(chǔ)技術(shù),此技術(shù)綜合了NAS和SAN的優(yōu)點(diǎn),具有數(shù)據(jù)高速直接訪問(wèn)的同時(shí)還擁有數(shù)據(jù)共享的優(yōu)勢(shì),可以為用戶提供海量、安全、高可靠以及低成本的數(shù)據(jù)存儲(chǔ)方案。
云存儲(chǔ)的核心是軟硬件相互結(jié)合,利用軟件來(lái)實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。利用云計(jì)算的相關(guān)技術(shù),如分布式集群和虛擬化等實(shí)現(xiàn)系統(tǒng)內(nèi)設(shè)備協(xié)同運(yùn)行與資源虛擬化整合,充分提高硬件資源的利用率。利用簡(jiǎn)單易用的管理界面及開放透明的應(yīng)用接口為視頻監(jiān)視系統(tǒng)提供高效且可靠的數(shù)據(jù)存儲(chǔ)服務(wù)[5]。
云存儲(chǔ)采用多重備份機(jī)制,每份數(shù)據(jù)都至少有一個(gè)或多個(gè)備份,即使硬盤出現(xiàn)故障也不會(huì)引起數(shù)據(jù)丟失,系統(tǒng)仍會(huì)正常運(yùn)行。而常規(guī)視頻存儲(chǔ)方案所采用的RAID技術(shù)只保護(hù)本地硬盤,RAID6也只允許兩塊硬盤故障,不能保證多塊硬盤故障或者整臺(tái)設(shè)備的故障,可靠性較低[6]。
與直接使用硬盤存儲(chǔ)數(shù)據(jù)不同,云存儲(chǔ)采取的是并行擴(kuò)容,容量不夠只需采購(gòu)新的存儲(chǔ)設(shè)備,配置好節(jié)點(diǎn)網(wǎng)絡(luò)地址即可加入系統(tǒng)工作,容量大小可根據(jù)用戶需要靈活進(jìn)行調(diào)整。
云管理系統(tǒng)可有效對(duì)存儲(chǔ)設(shè)備進(jìn)行管理,包括故障預(yù)警和定位等,支持硬盤熱插拔,在系統(tǒng)設(shè)備不中斷運(yùn)行的情況下更換硬盤。云存儲(chǔ)具備數(shù)據(jù)校驗(yàn)機(jī)制,可有效保證數(shù)據(jù)安全,允許多塊硬盤損壞后批量更換,再加上集中方式存儲(chǔ),更減輕了運(yùn)維人員的工作量。
云存儲(chǔ)集中方式打破了傳統(tǒng)存儲(chǔ)模式信息孤島的問(wèn)題,尤其是成線網(wǎng)后,更有利于數(shù)據(jù)融合和智能應(yīng)用。云存儲(chǔ)運(yùn)用對(duì)象存儲(chǔ)技術(shù),保證數(shù)據(jù)讀寫性能的前提下又擁有高共享性,視頻相關(guān)的智能分析系統(tǒng)可直接讀取數(shù)據(jù),不需要通過(guò)監(jiān)視平臺(tái)轉(zhuǎn)發(fā)[7]。
一條線按20個(gè)車站,1個(gè)車輛段,1個(gè)控制中心考慮,采用1080P高清IP攝像機(jī),視頻碼率按4 Mb/s考慮,控制中心集中存儲(chǔ)90天。車站中每站按120個(gè)攝像機(jī)考慮,1個(gè)車站的存儲(chǔ)容量為120×4×90×24×3 600/8/1 024/1 024≈445 TB,20個(gè)車站總計(jì)8 900 TB,即8.9 PB。車輛段按360路考慮,存儲(chǔ)容量為1.335 PB??刂浦行陌?00路考慮,存儲(chǔ)容量為1.854 PB???cè)萘繛?.9+1.335+1.854=12.089 PB。
視頻云存儲(chǔ)的帶寬需求計(jì)算為錄像帶寬+回放帶寬。錄像帶寬考慮10%的余量,回放帶寬通常按錄像帶寬的20%進(jìn)行估算。錄像帶寬=(攝像頭數(shù)×4 Mb/s)×1.1,總帶寬需求為錄像帶寬×1.2。全線攝像頭數(shù)為120×20+360+500=3 260個(gè)。帶寬總計(jì)為(3 260×4)×1.1×1.2=17 212.8 Mb/s。另傳輸系統(tǒng)還需配置相應(yīng)的保護(hù)帶寬保障視頻流的傳輸。
傳輸系統(tǒng)為軌道交通各業(yè)務(wù)系統(tǒng),包括視頻監(jiān)視系統(tǒng)提供可靠冗余的傳輸網(wǎng)絡(luò)。鑒于視頻監(jiān)視系統(tǒng)的帶寬總計(jì)已接近18 G以及延伸線接入的需要,并順應(yīng)智慧城市軌道交通發(fā)展的趨勢(shì),控制中心、車輛段以及車站所組成的環(huán)采用100 Gb/s的自愈保護(hù)環(huán)(業(yè)務(wù)可使用的帶寬50 Gb/s,保護(hù)帶寬50 Gb/s)[8]。
在實(shí)際部署配置中需要考慮到冗余配置,保證云存儲(chǔ)的可靠性。為防止云存儲(chǔ)數(shù)據(jù)寫滿后需要循環(huán)覆蓋,預(yù)留10%的緩沖區(qū)空間,所需容量為12.089×1.1=13.297 9 PB。
云存儲(chǔ)可以提供多種模式的N+M存儲(chǔ)策略,采用4+1模式存儲(chǔ)利用率為80%,硬盤初始化后實(shí)際可以利用的存儲(chǔ)空間為硬盤標(biāo)稱的90%,整個(gè)視頻存儲(chǔ)系統(tǒng)的容量為13.297 9/0.9/0.8≈18.47 PB。
云存儲(chǔ)支持在線擴(kuò)容,設(shè)備不停運(yùn)的情況下,可動(dòng)態(tài)增加或縮小云存儲(chǔ)系統(tǒng)的容量,因此對(duì)于延伸線或新線的接入相當(dāng)方便,只需增加新的節(jié)點(diǎn),配置好節(jié)點(diǎn)的網(wǎng)絡(luò)地址即可加入云存儲(chǔ)系統(tǒng)工作[9,10]。
軌道交通視頻監(jiān)視系統(tǒng)傳統(tǒng)存儲(chǔ)的計(jì)算能力與存儲(chǔ)能力是強(qiáng)耦合,任一故障都會(huì)導(dǎo)致整節(jié)點(diǎn)能力遷移至其他節(jié)點(diǎn),而云存儲(chǔ)是分層耦合,計(jì)算能力和存儲(chǔ)能力可獨(dú)立調(diào)度。云存儲(chǔ)各存儲(chǔ)節(jié)點(diǎn)資源共享,形成統(tǒng)一的云存儲(chǔ)資源池,數(shù)據(jù)可均勻離散分布于各個(gè)節(jié)點(diǎn)內(nèi)。傳統(tǒng)存儲(chǔ)上層業(yè)務(wù)訪問(wèn)必須通過(guò)SDK完成,延長(zhǎng)I/O訪問(wèn)路徑,效率低下,云存儲(chǔ)各種業(yè)務(wù)通過(guò)標(biāo)準(zhǔn)化讀寫接口進(jìn)行訪問(wèn),極大地提升了數(shù)據(jù)讀寫效率。傳統(tǒng)存儲(chǔ)攝像機(jī)與存儲(chǔ)資源有綁定關(guān)系,數(shù)據(jù)固定存儲(chǔ)在某一臺(tái)設(shè)備上,云存儲(chǔ)無(wú)綁定關(guān)系,數(shù)據(jù)離散存儲(chǔ)在多臺(tái)設(shè)備上。此外,傳統(tǒng)存儲(chǔ)攝像機(jī)對(duì)應(yīng)的存儲(chǔ)故障,若存儲(chǔ)業(yè)務(wù)中斷,如陣列失效,則數(shù)據(jù)丟失,而云存儲(chǔ)中任意一臺(tái)存儲(chǔ)設(shè)備故障事,存儲(chǔ)業(yè)務(wù)不中斷,單點(diǎn)故障數(shù)據(jù)丟失風(fēng)險(xiǎn)小。
云存儲(chǔ)本質(zhì)是用軟件來(lái)定義硬件,相比傳統(tǒng)存儲(chǔ)已經(jīng)從一套設(shè)備走向一個(gè)體系,綜合了各種方式為軌道交通視頻監(jiān)視系統(tǒng)提供優(yōu)質(zhì)高效且安全可靠的存儲(chǔ)服務(wù)。