崔圣青，王毅勇

（中國鐵路濟南局集團有限公司濟南通信段，山東濟南250001）

0 引言

鐵路綜合視頻監(jiān)控系統(tǒng)自建設以來經(jīng)過了十幾年的發(fā)展，建設規(guī)模不斷擴大，應用范圍越來越廣泛，重要程度逐步提高，在鐵路行車指揮、生產(chǎn)組織、客貨運輸服務、作業(yè)監(jiān)控、搶險救援以及治安防范等方面發(fā)揮了不可替代的作用。

隨著技術(shù)發(fā)展水平提高和設備更新速度加快，用戶對視頻監(jiān)控系統(tǒng)的體驗和需求不斷發(fā)生變化。攝像機從標清模擬到高清IP數(shù)字，分辨率CIF（352×288）、4CIF（704×576）/D1（720×576）、720P（1 280×720）、1080P（1 920×1 080）、4K（4 096×2 160）……逐步提高，編解碼格式經(jīng)歷了MPEG4、H.264、H.265等；視頻碼流從單路4CIF、25幀/s標清視頻流2 Mb/s提升到單路1080P、25幀/s高清視頻流6 Mb/s（采用H.264）、4 Mb/s（采用H.265）［1-3］等。伴隨圖像清晰度的提高和視頻路數(shù)的增加，直接引起視頻數(shù)據(jù)流量的海量劇增，原有的硬盤錄像機、網(wǎng)絡視頻錄像機（NVR）、磁盤陣列等存儲模式及網(wǎng)絡附屬存儲（NAS）、開放系統(tǒng)的直連式存儲（DAS）、IP構(gòu)建存儲局域網(wǎng)絡（IPSAN）等存儲架構(gòu)不再適合大容量數(shù)據(jù)的存儲、調(diào)用和管理［4-5］。

1 鐵路視頻監(jiān)控系統(tǒng)應用現(xiàn)狀

目前中國國家鐵路集團有限公司（簡稱國鐵集團）管內(nèi)綜合視頻監(jiān)控系統(tǒng)攝像頭計上萬路，存儲時間分別為30、15、3 d［3］。

鐵路視頻監(jiān)控系統(tǒng)存儲架構(gòu)大多采用IP-SAN技術(shù)，通過存儲服務器的獨立冗余磁盤陣列（Redundant Arrays of Independent Disks，RAID）卡將多塊物理磁盤邏輯化成為1個磁盤分區(qū)，并通過小型計算機系統(tǒng)接口（Internet Small Computer System Interface，ISCSI）協(xié)議將邏輯磁盤分區(qū)導出至前端攝像機，進行視頻錄入。普速線路的Ⅱ類節(jié)點接入幾十路平均視頻，其中，高清攝像機數(shù)量約占總數(shù)的10%，其余為模擬攝像機。

2 云存儲關(guān)鍵技術(shù)

2.1 數(shù)據(jù)保護機制

2.1.1 糾刪碼

云存儲系統(tǒng)可同時提供文件級及塊級數(shù)據(jù)保護，用戶可根據(jù)需要設置不同的保護級別，糾刪碼數(shù)據(jù)保護機制采用N+M數(shù)據(jù)保護模式，其中N代表原始數(shù)據(jù)被切片的數(shù)量，數(shù)值為2、4、8、16；M代表生成的校驗數(shù)據(jù)數(shù)量，數(shù)值為1、2、3、4。當系統(tǒng)配置的存儲服務器（存儲集群）臺數(shù)≥N+M時，可以允許M臺存儲服務器同時損壞；當配置的存儲服務器（存儲集群）臺數(shù)＜N+M時，系統(tǒng)自動將冗余保護機制從服務器級別降為磁盤級別，可以允許M塊磁盤同時損壞。M為4代表存儲系統(tǒng)最多允許4臺存儲服務器或4塊磁盤同時損壞［6］。

4+2糾刪碼數(shù)據(jù)冗余模式見圖1，當N+M為4+2時，數(shù)據(jù)在存儲時按照文件寫入粒度將文件切分成4個片段并生成2個校驗數(shù)據(jù)，再將6個片段分別存儲至不同存儲服務器，允許同時損壞的存儲服務器或跨存儲服務器損壞的磁盤數(shù)量為2。

圖1 4+2糾刪碼數(shù)據(jù)冗余模式

當系統(tǒng)存儲服務器≥6臺時，允許2臺存儲服務器同時損壞，這2臺存儲服務器上可損壞任意數(shù)目的磁盤；當3臺≤系統(tǒng)存儲服務器＜6臺時，支持1臺存儲服務器損壞或跨存儲服務器2塊磁盤同時損壞；當系統(tǒng)存儲服務器=2臺時，支持跨存儲服務器的2塊磁盤同時損壞。同時損壞2臺存儲服務器數(shù)據(jù)保護機制見圖2。

圖2 同時損壞2臺存儲服務器數(shù)據(jù)保護機制

2.1.2 參數(shù)配置

N+M糾刪碼不同數(shù)據(jù)保護模式下的具體參數(shù)見表1。

表1 N+M不同數(shù)據(jù)保護模式下的參數(shù)表

實施案例1:某站有視頻352路，4M碼流，存儲90 d，可用容量為1 521 TB?？梢圆捎?+2保護模型，空間利用率為80%；也可以采用4+1保護模型，空間利用率也為80%。實施中多數(shù)人選擇8+2保護模型，配備存儲服務器總臺數(shù)≥10臺。實施案例2:某站有視頻40路，其中10路為高清攝像機，存儲10 d；剩余30路為模擬攝象機，存儲7 d，4M碼流，可用容量為27 TB。實施中多數(shù)人選擇2+1保護模型，配備3臺12盤位2 TB的存儲服務器，空間利用率為66.7%；當存儲服務器損壞1臺后自動降級為磁盤級4+2模型進行保護。

2.1.3 副本

副本數(shù)據(jù)保護機制是將文件按照規(guī)則分段存儲至存儲服務器，其中每一段都會有2個以上（可根據(jù)需求設置2、3、4個副本）的有效副本存放至不同的存儲服務器。如1個文件file A被切分成segment1-N個片段，文件file A的segment2片段的2個副本分別存放至存儲服務器S1的磁盤D1和存儲服務器S2的磁盤D1，當S1宕機或者S1的D1失效時，用戶依然可以從S2的D1上讀取file A的segment2片段，同時系統(tǒng)將會自動在另一臺存儲服務器如S3的D2上產(chǎn)生segment2的新副本。副本數(shù)據(jù)保護機制見圖3。

圖3 副本數(shù)據(jù)保護機制

2.1.4 保護效果差異

云存儲系統(tǒng)中，糾刪碼保護和副本保護利用不同的機制對數(shù)據(jù)進行保護，主要區(qū)別體現(xiàn)在存儲空間利用率。副本保護機制存儲空間利用率較低，不同重要程度、不同應用場景下使用不同副本機制，空間利用率最大為50%；而糾刪碼保護機制存儲空間利用率較高，根據(jù)不同數(shù)據(jù)模型選擇和存儲服務器配置，存儲空間利用率可達50%～94%。

2.2 負載均衡

將文件按照一定方式進行切片，采用數(shù)據(jù)智能均衡算法，將所有數(shù)據(jù)讀寫壓力平均分配至云存儲系統(tǒng)的存儲服務器所有磁盤，實現(xiàn)所有磁盤的壓力均衡，提升并發(fā)訪問效率，降低硬件負載壓力和損耗程度，形成一個高性能的共享存儲池，為前端提供高聚合帶寬讀寫訪問，避免壓力分配不均衡造成的設備性能降低。

云存儲系統(tǒng)根據(jù)設備可用容量、負載情況、接入任務數(shù)以及讀寫性能等，自動進行存儲服務器級和磁盤級的負載均衡和資源分配。負載均衡系統(tǒng)通過提供智能IP管理，實現(xiàn)存儲服務器IP地址的自動添加和遷移。

當存儲服務器在線擴容時，可將數(shù)據(jù)自動均衡至新添加的存儲服務器，實現(xiàn)數(shù)據(jù)均衡的同時，數(shù)據(jù)安全級別允許同時損壞存儲服務器節(jié)點和磁盤數(shù)量增加，提高了存儲系統(tǒng)整體數(shù)據(jù)安全保護級別。

2.3 數(shù)據(jù)自愈

云存儲系統(tǒng)內(nèi)置自動故障探測機制，當探測到某個存儲服務器或存儲服務器磁盤發(fā)生故障時，會自動觸發(fā)數(shù)據(jù)自愈恢復流程。在正常設備中分配新的空間，重新恢復存儲設備中有效的受損數(shù)據(jù)，區(qū)別于傳統(tǒng)存儲系統(tǒng)對整個磁盤所有塊的數(shù)據(jù)恢復，可以有效減少數(shù)據(jù)恢復過程中的數(shù)據(jù)傳輸量。

在云存儲系統(tǒng)中，1個磁盤的數(shù)據(jù)段對應冗余數(shù)據(jù)平均分布在存儲集群的其他存儲服務器上，損失的數(shù)據(jù)也將平均恢復至整個存儲集群，數(shù)據(jù)恢復過程由正常狀態(tài)的存儲服務器并發(fā)進行，是一種多對多的數(shù)據(jù)恢復模式。

由于數(shù)據(jù)恢復過程中所有存儲服務器共同參與，所以存儲服務器集群的規(guī)模越大，參與恢復的存儲服務器數(shù)量就越多，整個系統(tǒng)的恢復速度也越快，安全程度就越高，傳統(tǒng)的IP-SAN設備數(shù)據(jù)恢復依托于硬件RAID卡，若數(shù)據(jù)恢復過程中硬件RAID卡出現(xiàn)故障，會造成數(shù)據(jù)丟失，且只有損壞磁盤的這1臺盤陣設備進行盤陣內(nèi)數(shù)據(jù)恢復，與云存儲系統(tǒng)的所有服務器均參與數(shù)據(jù)恢復相比較，時間較長。

當數(shù)據(jù)恢復完成，整個系統(tǒng)立即成為最高安全狀態(tài)，這時再發(fā)生設備失效不會導致數(shù)據(jù)丟失；在系統(tǒng)負載較小時，也可選擇手動進行數(shù)據(jù)自愈恢復［7］。

2.4 在線擴容

云存儲系統(tǒng)中的元數(shù)據(jù)服務器集群和存儲服務器集群支持在線動態(tài)擴容。存儲服務器集群擴展包括:存儲服務器、存儲服務器中磁盤擴展，擴展的容量可即插即用。而且隨著存儲服務器數(shù)量增多，存儲系統(tǒng)的聚合帶寬也會呈線性增長。

元數(shù)據(jù)服務器集群擴展帶來文件存儲數(shù)量的增長，整個擴展過程對應用平臺完全透明，擴展的元數(shù)據(jù)服務器立刻能夠提供服務，前端應用無需進行手動配置。隨著元數(shù)據(jù)服務器數(shù)量增多，存儲系統(tǒng)提供的元數(shù)據(jù)服務能力也會呈線性增長，可管理的文件總數(shù)也線性增加［8］。

當需要進行存儲資源擴展時，只需要在集群內(nèi)添加新增存儲設備的IP地址，系統(tǒng)會自動辨別新增設備，對其進行虛擬化整合，容量融入集群；同時，擴展過程中，用戶的正常業(yè)務不中斷，實現(xiàn)存儲資源在線擴容。

2.5 跨站數(shù)據(jù)同步

云存儲系統(tǒng)具有數(shù)據(jù)同步功能，實現(xiàn)業(yè)務自動切換，保證業(yè)務正常運行和數(shù)據(jù)安全。具體包括:支持遠程備份，自動進行小文件打包、大文件合并等多樣備份需求，能同時進行無限制的并發(fā)備份，提供高效并發(fā)備份機制；具有遠程復制加密傳輸功能，可保證數(shù)據(jù)隱私和數(shù)據(jù)完整；利用掉電保護技術(shù)確保備份數(shù)據(jù)不丟失；能快速備份、及時恢復、性能自動調(diào)優(yōu)及保證業(yè)務連續(xù)性；對重復數(shù)據(jù)進行對比篩查，進行增量備份，節(jié)省存儲空間；可完全兼容傳統(tǒng)的備份環(huán)境。

2.6 面向云存儲系統(tǒng)的“三員管理”

云存儲系統(tǒng)中分系統(tǒng)管理員、安全管理員、安全審計員3類角色。系統(tǒng)管理員主要負責存儲系統(tǒng)的日常運維工作；安全管理員主要負責對用戶進行權(quán)限分配以及對客戶端的授權(quán)，對訪問云存儲系統(tǒng)用戶的行為進行審計；安全審計員主要負責對云存儲系統(tǒng)的2類管理員行為進行審計?！叭龁T管理”存在三員的約束條件，三員必須獨立，不能由1個人兼任三員中的2個或以上角色，同時，系統(tǒng)管理員、安全管理員和審計管理員不能以任何其他身份登錄云存儲系統(tǒng)，不可以對云存儲系統(tǒng)的日志進行修改。

3 云存儲應用

3.1 分布式云存儲

為了驗證云存儲系統(tǒng)方案可行性，國鐵集團相關(guān)部門申請了科研項目，2019年組織云存儲廠家及既有綜合視頻監(jiān)控系統(tǒng)平臺廠家進行了云存儲的各項功能驗證。選取相鄰的2個Ⅱ類視頻接入節(jié)點，每站采集點約為40路，每路數(shù)據(jù)平均流量為4 Mb/s，站間距約40 km。

采用糾刪碼方案，在兩站的通信機房分別部署3臺存儲服務器。服務器級采用2+1糾刪碼數(shù)據(jù)保護模式；存儲磁盤級采用4+2糾刪碼數(shù)據(jù)保護模式。兩站云存儲系統(tǒng)設備分別接入既有視頻管理平臺，既有視頻流直接寫入相應車站的云存儲系統(tǒng)的存儲服務器。兩站的視頻流與云存儲服務器通過光纖設備交叉互連實現(xiàn)容災，構(gòu)建成1套云存儲系統(tǒng)。云存儲系統(tǒng)架構(gòu)示意見圖4。

圖4 云存儲系統(tǒng)架構(gòu)示意圖

3.2 功能驗證

為進行功能驗證，對云存儲系統(tǒng)工程應用前后進行對比（見表2）。由表2對比可知:

表2 云存儲系統(tǒng)工程應用前后對比

（1）鐵路點多線長、網(wǎng)絡帶寬有限，在不改變既有鐵路綜合視頻監(jiān)控系統(tǒng)結(jié)構(gòu)的條件下，云存儲系統(tǒng)設備可以替代目前鐵路視頻監(jiān)控系統(tǒng)中的IP-SAN存儲設備［9］，符合Q/CR 575—2017《鐵路綜合視頻監(jiān)控系統(tǒng)技術(shù)規(guī)范》的相關(guān)要求［3］。

（2）通過采用數(shù)據(jù)分段切片、虛擬化分散均衡存儲、副本/糾刪碼數(shù)據(jù)保護、數(shù)據(jù)自愈恢復等技術(shù)，采用多種安全權(quán)限管理，云存儲技術(shù)可明顯提高鐵路視頻監(jiān)控系統(tǒng)整體安全性。

（3）云存儲技術(shù)能夠?qū)崿F(xiàn)鐵路視頻監(jiān)控系統(tǒng)存儲容量動態(tài)在線擴容，可根據(jù)需要實現(xiàn)即插即用，并且存儲服務能力、聚合帶寬呈線性增長，系統(tǒng)正常運行不受影響。

（4）云存儲系統(tǒng)采用糾刪碼數(shù)據(jù)保護機制，在部分存儲服務器損壞、存儲系統(tǒng)內(nèi)多塊磁盤同時損壞時，仍然可以保證數(shù)據(jù)安全性以及存儲系統(tǒng)正常讀寫訪問，存儲容量利用率為66.7%。

4 結(jié)論

云存儲技術(shù)可滿足鐵路視頻監(jiān)控系統(tǒng)中大量的視頻數(shù)據(jù)存儲、分析和應用需求。云存儲技術(shù)解決方案得到越來越廣泛應用，具體應用應考慮在具備4 GE或10 GE［10］良好傳輸條件的前提下，大量數(shù)據(jù)相對集中存儲，充分發(fā)揮云存儲技術(shù)的負載均衡、數(shù)據(jù)保護機制、數(shù)據(jù)自愈能力等特點，云存儲系統(tǒng)的安全可靠性越高，服務能力越強，技術(shù)優(yōu)勢才能夠充分體現(xiàn)。