陳瑞軍,王曉東

(呼和浩特市城市軌道交通建設(shè)管理有限責(zé)任公司，內(nèi)蒙古自治區(qū) 呼和浩特 010000)

0 引言

傳統(tǒng)的視頻存儲(chǔ)方案主要以IP-SAN、CVR等常規(guī)的網(wǎng)絡(luò)存儲(chǔ)方式為主，但隨著《中華人民共和國(guó)反恐怖主義法》的執(zhí)行，地鐵視頻監(jiān)控存儲(chǔ)90天已經(jīng)成為強(qiáng)需求。常規(guī)存儲(chǔ)方案的缺點(diǎn)有：前端相機(jī)與后端存儲(chǔ)強(qiáng)關(guān)聯(lián)，存儲(chǔ)難以負(fù)載分擔(dān)，存儲(chǔ)設(shè)備工作強(qiáng)度不一；后端存儲(chǔ)只可采用“機(jī)頭+擴(kuò)展柜”形式作縱向擴(kuò)展，造成容量增大而性能下降的窘境；存儲(chǔ)設(shè)備相互獨(dú)立，設(shè)備管理需要逐一進(jìn)行，存儲(chǔ)規(guī)模龐大造成運(yùn)維壓力巨大；傳統(tǒng)的RAID5數(shù)據(jù)冗余方案只能提供硬盤(pán)級(jí)保護(hù)，會(huì)造成不可控的數(shù)據(jù)丟失風(fēng)險(xiǎn)。

基于云計(jì)算、大數(shù)據(jù)等發(fā)展而來(lái)的云存儲(chǔ)技術(shù)，在集群管理、容量擴(kuò)展、統(tǒng)一運(yùn)維、數(shù)據(jù)冗余等方面，相對(duì)常規(guī)存儲(chǔ)有了質(zhì)的提升，能夠充分滿(mǎn)足線(xiàn)網(wǎng)級(jí)視頻存儲(chǔ)需求。呼和浩特市地鐵1號(hào)線(xiàn)、2號(hào)線(xiàn)在建設(shè)過(guò)程中，經(jīng)過(guò)專(zhuān)家多輪論證和上線(xiàn)前的有效測(cè)試評(píng)估，最終確定視頻監(jiān)控采用云存儲(chǔ)模式。

1 視頻存儲(chǔ)系統(tǒng)設(shè)計(jì)方案及優(yōu)勢(shì)

在設(shè)計(jì)呼和浩特市地鐵1號(hào)線(xiàn)、2號(hào)線(xiàn)城軌云之初，針對(duì)視頻云存儲(chǔ)的設(shè)計(jì)方案就頗具爭(zhēng)議。經(jīng)過(guò)專(zhuān)家多輪論證和上線(xiàn)前的有效測(cè)試評(píng)估，該市地鐵采用視頻云存儲(chǔ)的技術(shù)設(shè)計(jì)方案，即：前端攝像機(jī)產(chǎn)生的視頻流可直接存儲(chǔ)到視頻云存儲(chǔ)系統(tǒng)，不需要虛擬機(jī)參與封裝及轉(zhuǎn)發(fā)；同時(shí)，搭建統(tǒng)一的視頻平臺(tái)，通過(guò)云中心統(tǒng)一實(shí)現(xiàn)云存儲(chǔ)管理、錄像調(diào)取等應(yīng)用功能。

云存儲(chǔ)相對(duì)常規(guī)存儲(chǔ)的優(yōu)勢(shì)如圖1所示。

圖1 云存儲(chǔ)相對(duì)常規(guī)存儲(chǔ)的優(yōu)勢(shì)

1.1 視頻云存儲(chǔ)系統(tǒng)

視頻云存儲(chǔ)系統(tǒng)是針對(duì)安防視頻監(jiān)控場(chǎng)景定制開(kāi)發(fā)的一種專(zhuān)用云存儲(chǔ)系統(tǒng)，天然適配視頻、圖片類(lèi)等非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)獨(dú)特的流式數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)，在存儲(chǔ)效率和性能上遠(yuǎn)超文件云存儲(chǔ)系統(tǒng)。視頻云存儲(chǔ)系統(tǒng)采用視頻流直存模式，前端視頻流、圖片流在云存儲(chǔ)系統(tǒng)內(nèi)直接存盤(pán)，無(wú)需任何協(xié)議轉(zhuǎn)換，符合GB/T 28181—2016要求。該系統(tǒng)在增強(qiáng)系統(tǒng)可靠性的同時(shí)，可大幅降低項(xiàng)目成本。視頻云存儲(chǔ)[1-5]系統(tǒng)依據(jù)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)特點(diǎn)進(jìn)行設(shè)計(jì)，無(wú)需邏輯卷，因此在虛擬化空間上沒(méi)有任何限制，可平滑擴(kuò)展容量。

視頻云存儲(chǔ)系統(tǒng)針對(duì)安防業(yè)務(wù)定制開(kāi)發(fā)，在滿(mǎn)足傳統(tǒng)視頻業(yè)務(wù)的同時(shí)，也可滿(mǎn)足公安新業(yè)務(wù)的應(yīng)用要求。高并發(fā)低延時(shí)的即存即取，結(jié)合定向小I/O圖片優(yōu)化應(yīng)用，適應(yīng)公安部門(mén)中長(zhǎng)期建設(shè)需求。

1.2 與文件云存儲(chǔ)相比的優(yōu)勢(shì)

文件云存儲(chǔ)系統(tǒng)采用數(shù)據(jù)中心通用集群網(wǎng)絡(luò)存儲(chǔ)設(shè)備(network attached storage,NAS)云存儲(chǔ)方式，系統(tǒng)邏輯架構(gòu)采用虛擬機(jī)掛載卷。視頻云存儲(chǔ)先通過(guò)虛擬機(jī)進(jìn)行封裝再轉(zhuǎn)發(fā)到云存儲(chǔ)，然后將封裝后的數(shù)據(jù)離散化，以文件帶的形式分布在各個(gè)卷內(nèi)。

從存儲(chǔ)效率上講，傳統(tǒng)文件云存儲(chǔ)系統(tǒng)仍按結(jié)構(gòu)化數(shù)據(jù)方式，對(duì)視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)，存儲(chǔ)效率難以滿(mǎn)足線(xiàn)網(wǎng)級(jí)海量前端存儲(chǔ)要求，且文件存儲(chǔ)模式極易產(chǎn)生文件碎片，長(zhǎng)時(shí)間運(yùn)行后存儲(chǔ)性能下降明顯。

從項(xiàng)目成本上講，文件云存儲(chǔ)系統(tǒng)需要增加大量流媒體服務(wù)器，以完成視頻流、圖片流向文件格式的轉(zhuǎn)換。因此，流媒體服務(wù)器極易成為系統(tǒng)瓶頸，會(huì)大幅提高項(xiàng)目成本。

從虛擬化能力上講，文件云存儲(chǔ)的虛擬化基礎(chǔ)依然難以擺脫邏輯卷的束縛，大容量邏輯卷穩(wěn)定性存在一定的缺陷，嚴(yán)重情況下可能導(dǎo)致視頻數(shù)據(jù)丟失。

從安防行業(yè)的應(yīng)用來(lái)看，文件云存儲(chǔ)無(wú)行業(yè)特色，對(duì)公安部門(mén)人臉識(shí)別等新業(yè)務(wù)的支撐力較弱，較多的中間環(huán)節(jié)致使系統(tǒng)反應(yīng)遲鈍，無(wú)法實(shí)現(xiàn)人臉圖片的即存即取，不利于現(xiàn)有業(yè)務(wù)以及后續(xù)拓展應(yīng)用的實(shí)現(xiàn)[6-7]。

綜上所述，視頻云存儲(chǔ)系統(tǒng)作為行業(yè)專(zhuān)屬定制化產(chǎn)品，相比文件云存儲(chǔ)系統(tǒng)優(yōu)勢(shì)明顯。

2 視頻存儲(chǔ)系統(tǒng)云服務(wù)模式

呼和浩特市1號(hào)線(xiàn)、2號(hào)線(xiàn)城軌云是全國(guó)城市軌道交通系統(tǒng)中第一個(gè)全面上云的項(xiàng)目，其運(yùn)用模式、運(yùn)維方式都在摸索探討中創(chuàng)新。按照常規(guī)的建設(shè)方案，地鐵需要在控制中心或車(chē)輛段擴(kuò)建機(jī)房，組建運(yùn)維團(tuán)隊(duì)，滿(mǎn)足視頻云存儲(chǔ)系統(tǒng)運(yùn)行和維護(hù)要求。這種方案實(shí)施起來(lái)有一定的難度：云存儲(chǔ)設(shè)備對(duì)運(yùn)行環(huán)境要求嚴(yán)格，現(xiàn)有機(jī)房難以滿(mǎn)足高規(guī)格的應(yīng)用需求；視頻云存儲(chǔ)占用機(jī)房空間大，雖然當(dāng)前建設(shè)僅以1號(hào)線(xiàn)、2號(hào)線(xiàn)為主，但是需要充分考慮后續(xù)線(xiàn)路擴(kuò)容的要求，規(guī)劃較大的機(jī)房空間，勢(shì)必造成資源長(zhǎng)期閑置；云存儲(chǔ)設(shè)備需要專(zhuān)業(yè)維護(hù)，現(xiàn)有運(yùn)維團(tuán)隊(duì)壓力較大。

考慮到上述因素，選擇了購(gòu)買(mǎi)服務(wù)的建設(shè)模式。視頻云存儲(chǔ)設(shè)備由運(yùn)營(yíng)商負(fù)責(zé)采購(gòu)、安裝、調(diào)試及運(yùn)維。這種建設(shè)模式與呼和浩特市實(shí)際情況相匹配：從建設(shè)成本看，內(nèi)蒙古自治區(qū)能源豐富，運(yùn)營(yíng)商作為用電大戶(hù)，電力使用成本更低，良好的機(jī)房網(wǎng)絡(luò)資源及環(huán)境能夠滿(mǎn)足云存儲(chǔ)嚴(yán)苛的使用要求；從擴(kuò)容層面看，運(yùn)營(yíng)商機(jī)房可以滿(mǎn)足即用即擴(kuò)的要求，接入后續(xù)線(xiàn)路毫無(wú)壓力；從運(yùn)維層面看，運(yùn)營(yíng)商能夠提供專(zhuān)業(yè)的運(yùn)維團(tuán)隊(duì)，保證云存儲(chǔ)更加安全、穩(wěn)定地運(yùn)行。

視頻云存儲(chǔ)購(gòu)買(mǎi)服務(wù)模式優(yōu)勢(shì)如下。

①建設(shè)更加節(jié)約、高效。充分利用運(yùn)營(yíng)商高標(biāo)準(zhǔn)機(jī)房資源、網(wǎng)絡(luò)資源、供電資源，可滿(mǎn)足云存儲(chǔ)設(shè)備嚴(yán)苛的環(huán)境要求。

②擴(kuò)容更加迅速、簡(jiǎn)單。依托運(yùn)營(yíng)商機(jī)身充足的機(jī)柜空間，按需進(jìn)行項(xiàng)目擴(kuò)容，可適配任意時(shí)間、任意規(guī)模的擴(kuò)容需求。

③運(yùn)維更加便利、安全。有效利用運(yùn)營(yíng)商專(zhuān)業(yè)運(yùn)維團(tuán)隊(duì)，可保證云存儲(chǔ)系統(tǒng)的穩(wěn)定、安全運(yùn)行。

3 視頻存儲(chǔ)系統(tǒng)特點(diǎn)

3.1 設(shè)備級(jí)數(shù)據(jù)保護(hù)

呼和浩特市地鐵云存儲(chǔ)系統(tǒng)通過(guò)分布式糾刪碼(erasure code,EC)算法構(gòu)建基礎(chǔ)的數(shù)據(jù)保障機(jī)制，提供N+M高可靠數(shù)據(jù)保障能力，目前可支持到N+4的高級(jí)別保障。在N+M數(shù)據(jù)保障機(jī)制設(shè)計(jì)中，一份數(shù)據(jù)被寫(xiě)入時(shí)可按照一定大小劃分為N個(gè)數(shù)據(jù)塊，并以N個(gè)數(shù)據(jù)塊為基礎(chǔ)計(jì)算出M個(gè)校驗(yàn)塊。以(N+M)個(gè)塊為一組基礎(chǔ)存儲(chǔ)單元，稱(chēng)之為條帶。條帶中塊數(shù)據(jù)故障和缺失只要不超過(guò)M個(gè)，都可以依據(jù)算法將丟失的數(shù)據(jù)塊恢復(fù)出來(lái)，以此提供數(shù)據(jù)的可靠性保障。通過(guò)這種模式，視頻云存儲(chǔ)系統(tǒng)就可以實(shí)現(xiàn)設(shè)備級(jí)的數(shù)據(jù)保護(hù)。即使整機(jī)出現(xiàn)故障，也可以通過(guò)數(shù)據(jù)重構(gòu)的方式實(shí)現(xiàn)數(shù)據(jù)的恢復(fù)，不會(huì)造成數(shù)據(jù)丟失。呼和浩特市地鐵架構(gòu)如圖2所示。

圖2 呼和浩特市地鐵架構(gòu)示意圖

3.2 存儲(chǔ)空間的高效管理

在存儲(chǔ)空間的管理方面，視頻云存儲(chǔ)系統(tǒng)將全域各存儲(chǔ)節(jié)點(diǎn)的資源進(jìn)行虛擬化后，向用戶(hù)呈現(xiàn)一個(gè)持續(xù)的、超大規(guī)模的數(shù)據(jù)資源池，稱(chēng)之為存儲(chǔ)資源池。存儲(chǔ)資源池的整合過(guò)程完全透明，由系統(tǒng)算法自行完成，將用戶(hù)從繁瑣的空間管理和配置中解脫出來(lái)，提高了管理效率。視頻云存儲(chǔ)系統(tǒng)支持存儲(chǔ)空間的動(dòng)態(tài)擴(kuò)大或縮小，可以平滑擴(kuò)容接入后續(xù)線(xiàn)路，不會(huì)對(duì)現(xiàn)有業(yè)務(wù)造成任何影響。

3.3 直存技術(shù)

常規(guī)存儲(chǔ)方案在應(yīng)用于視頻、圖片業(yè)務(wù)時(shí)，僅提供容量空間而無(wú)業(yè)務(wù)流程的優(yōu)化功能，存儲(chǔ)路徑需經(jīng)過(guò)多個(gè)設(shè)備環(huán)節(jié)而增加故障發(fā)生概率，導(dǎo)致成本整體上升。呼和浩特市地鐵云存儲(chǔ)系統(tǒng)將安防應(yīng)用與存儲(chǔ)技術(shù)相結(jié)合，前端視頻和圖片數(shù)據(jù)可以直接寫(xiě)入云存儲(chǔ)中的存儲(chǔ)節(jié)點(diǎn)，在縮短數(shù)據(jù)存儲(chǔ)路徑、提升數(shù)據(jù)存儲(chǔ)性能的同時(shí)，還節(jié)省了大量服務(wù)器投資。

3.4 兩級(jí)存儲(chǔ)

傳統(tǒng)地鐵項(xiàng)目中，存儲(chǔ)設(shè)備按照本地視頻本地存儲(chǔ)的模式來(lái)進(jìn)行方案設(shè)計(jì)。雖然有部分項(xiàng)目采用設(shè)備間備份技術(shù)，但在異常情況下，數(shù)據(jù)不可查、不可用的問(wèn)題仍然明顯。呼和浩特地鐵云存儲(chǔ)在國(guó)內(nèi)首次采用站點(diǎn)7天短時(shí)存儲(chǔ)和中心90天全時(shí)存儲(chǔ)的雙錄模式，站點(diǎn)和中心視頻數(shù)據(jù)保持實(shí)時(shí)一致，即使在異常情況下也可正常進(jìn)行數(shù)據(jù)訪(fǎng)問(wèn)。在出現(xiàn)大面積磁盤(pán)損壞或者設(shè)備故障時(shí)，數(shù)據(jù)重構(gòu)具備四級(jí)恢復(fù)模式，時(shí)刻保證業(yè)務(wù)應(yīng)用無(wú)異常[8]。

4 結(jié)論

本文針對(duì)當(dāng)前地鐵視頻系統(tǒng)中常用的IP-SAN、CVR等存儲(chǔ)方式存在的問(wèn)題進(jìn)行分析，創(chuàng)新性地設(shè)計(jì)了基于城軌云的視頻存儲(chǔ)方案。通過(guò)糾刪碼(EC)、資源虛擬化、直存技術(shù)、分級(jí)存儲(chǔ)等方式，有效地解決了傳統(tǒng)方案中視頻存儲(chǔ)負(fù)載難以分擔(dān)、容量難以擴(kuò)展的難題。經(jīng)過(guò)呼市地鐵1號(hào)線(xiàn)、2號(hào)線(xiàn)的應(yīng)用實(shí)踐驗(yàn)證，基于城軌云的地鐵視頻存儲(chǔ)系統(tǒng)運(yùn)行穩(wěn)定，有效保障了地鐵的正常運(yùn)營(yíng)，可為其他城市地鐵視頻系統(tǒng)建設(shè)提供參考。