于東旭

（中國鐵路北京局集團有限公司，北京 100860）

0 引言

行車安全始終是高速鐵路發(fā)展的第一要務，同時也向鐵路各業(yè)務系統(tǒng)在安全性和穩(wěn)定性上提出了更高要求。鐵路綜合視頻監(jiān)控系統(tǒng)涉及鐵路運輸指揮，是治安防范的重要措施，也是確保運營安全的重要手段。隨著高速鐵路相關技術的進步，鐵路綜合視頻監(jiān)控系統(tǒng)已在保障安全生產(chǎn)的各環(huán)節(jié)發(fā)揮著積極作用。但由于鐵路業(yè)務的專有性和特殊性，與公安、智慧城市以及其他行業(yè)視頻監(jiān)控系統(tǒng)相比，鐵路視頻監(jiān)控系統(tǒng)仍處于發(fā)展水平較低的階段，尤其在存儲方面，大多數(shù)仍在采用SAN存儲模式。

當前視頻監(jiān)控技術逐漸向高清化、智能化發(fā)展，利用大數(shù)據(jù)分析、人工智能技術才能將視頻數(shù)據(jù)的價值真正發(fā)揮出來，將海量視頻數(shù)據(jù)共享給更多的上層應用，以保障鐵路高效安全生產(chǎn)。未來鐵路是大數(shù)據(jù)的時代，鐵路綜合視頻存儲將迎來革命性的變化，后臺存儲數(shù)據(jù)的快速寫入和讀取是前端技術可靠的關鍵。大量視頻應用在為鐵路安全生產(chǎn)保駕護航的同時，更要保證后臺數(shù)據(jù)的安全穩(wěn)定。隨著云計算的發(fā)展，軟件定義的產(chǎn)品逐漸出現(xiàn)，可以更好地突破限制，滿足對存儲的更高要求，并在各行業(yè)得到大規(guī)模應用。

軟件定義分布式存儲基于通用服務器，將系統(tǒng)與硬件有機組合，利用分布式存儲系統(tǒng)組成集群資源池，共享資源，統(tǒng)一管理，靈活擴展，這類存儲系統(tǒng)即被業(yè)界稱為云存儲。在此從云存儲的相關技術特點入手，研究探討鐵路綜合視頻監(jiān)控系統(tǒng)中分布式存儲應用的幾種可行方案[1]。

1 現(xiàn)狀分析

1.1 鐵路綜合視頻監(jiān)控系統(tǒng)現(xiàn)狀

隨著2008年京津城際鐵路的開通運營，鐵路綜合視頻監(jiān)控系統(tǒng)隨著高速鐵路和客運專線一同建設。鐵路綜合視頻監(jiān)控系統(tǒng)建設遵循《鐵路綜合視頻監(jiān)控系統(tǒng)技術規(guī)范（試行）》（運基通信〔2008〕630號）、TB 10085—2009《鐵路圖像通信設計規(guī)范》[2]和《京滬高速鐵路綜合視頻監(jiān)控系統(tǒng)設計原則設備配置的會議紀要》（運基通信〔2010〕412號）等相關規(guī)范，主要監(jiān)控區(qū)域為：重要機房（通信、信號、牽引變電、電力和信息）內(nèi)部和外部、站房咽喉區(qū)、聯(lián)絡線與正線關鍵交叉點、治安復雜區(qū)段、公跨鐵橋梁等；圖像質量采用標清模式，分辨率為CIF或4CIF；單路視頻圖像存儲時間為普通圖像3 d、重點圖像15 d、告警圖像30 d，各車站一般需要50～200 TB存儲空間。傳統(tǒng)鐵路綜合視頻監(jiān)控系統(tǒng)架構見圖1。

圖1 傳統(tǒng)鐵路綜合視頻監(jiān)控系統(tǒng)架構

1.2 存儲現(xiàn)狀分析

（1）故障點多。鐵路綜合視頻監(jiān)控系統(tǒng)主要由視頻存儲服務器、視頻管理服務器以及磁盤陣列組成，這其中的任意一環(huán)出現(xiàn)故障，該系統(tǒng)下的所有視頻都將失效。

（2）擴展不靈活。傳統(tǒng)存儲IP-SAN模式是硬件定義的存儲方式，該方式依賴專用硬件磁盤柜對數(shù)據(jù)進行存儲，數(shù)據(jù)讀寫性能受限于磁盤柜機頭，每個機頭可控制的硬盤數(shù)量有限（一般不超過16塊硬盤）。進行存儲擴容時，在存儲空間無備份的情況下，需對既有RAID冗余保護模式進行格式化，既有存儲內(nèi)視頻將全部丟失。

（3）性能低?，F(xiàn)有存儲模式在擴容時會導致讀寫性能下降且數(shù)據(jù)恢復速度慢，恢復數(shù)據(jù)時對系統(tǒng)性能影響嚴重，整個系統(tǒng)不能做到全時在線維護及擴容。

（4）數(shù)據(jù)無法共享及綜合利用。IP-SAN存儲的邏輯空間只能固定給單一的上層應用使用，空間需要預先規(guī)劃，后期難以調(diào)整，容易形成數(shù)據(jù)孤島。

（5）可靠性低。現(xiàn)有存儲利用RAID作為冗余保護，只能做到每臺磁盤陣列同時允許損壞1～2塊硬盤，且無法在設備間進行負載均衡。

1.3 面臨的挑戰(zhàn)

隨著時代發(fā)展，自2016年以來，原中國鐵路總公司陸續(xù)發(fā)布TB 10006—2016《鐵路通信設計規(guī)范》、《高速鐵路反恐與公安標準（試行）》（鐵總辦〔2016〕174號）、《關于發(fā)布設計時速200 km及以上鐵路區(qū)間線路視頻監(jiān)控設置有關補充標準的通知》（鐵總建設〔2016〕18號）和Q/CR 575—2017《鐵路綜合視頻技術規(guī)范》[3]，對鐵路綜合視頻監(jiān)控的清晰度以及存儲時間提出更高要求，由標清（4CIF）提升至高清（1080P），涉及公共安全的圖像信息存儲時限應不少于90 d，以上要求均會造成存儲系統(tǒng)容量大幅增長。另外，“智能京張”“智能京雄”關于周界防護、人臉識別等應用要求，更加豐富了鐵路綜合視頻監(jiān)控的上層應用。

目前全路綜合視頻監(jiān)控系統(tǒng)已發(fā)展至15萬余路，需要龐大的存儲系統(tǒng)作為支撐，同時系統(tǒng)存儲部分還需要依照上述標準的要求進行擴容改造。但現(xiàn)有技術擴容面臨存儲擴容困難、成本高及并發(fā)讀寫性能劣化等問題，同時機房空間有限，都嚴重影響了升級改造工作。綜合視頻監(jiān)控系統(tǒng)存儲數(shù)據(jù)在穩(wěn)定安全、靈活擴容、數(shù)據(jù)共享等方面提出新的要求，而云存儲技術可以很好地滿足這些新要求。

2 云存儲概述

2.1 云存儲定義

云計算是分布式處理（Distributed Computing）、并行處理（Parallel Computing）和網(wǎng)格計算（Grid Computing）的發(fā)展，通過網(wǎng)絡智能地將復雜計算拆分成許多復雜度較低的計算，然后利用集群中多個服務器并行計算，并將處理結果回傳給用戶。

將云計算的概念擴展，云存儲是利用高速網(wǎng)絡搭建的一套分布式文件系統(tǒng)集群[4-5]，利用軟件靈活調(diào)配集群內(nèi)部存儲、計算和網(wǎng)絡資源，利用虛擬化技術將資源整合為資源池對上層應用提供靈活方便的服務[6]。這種架構可以更加充分靈活地利用資源，節(jié)約空間，簡化運維和使用流程，還可以保證數(shù)據(jù)的安全性。

2.2 云存儲特點

（1）線性擴展?？梢造`活地線性擴展性能和存儲容量，以達到海量存儲的目的。

（2）高可用?？梢栽诩褐腥我獠考p壞時不影響上層業(yè)務及數(shù)據(jù)完整性，達到全時在線。

（3）負載均衡。可以在集群中實現(xiàn)業(yè)務數(shù)據(jù)的負載均衡。

（4）共享資源。將分布式存儲內(nèi)數(shù)據(jù)形成有機整體，通過結構化分類為上層應用提供基礎數(shù)據(jù)。

（5）軟件定義。針對不同上層應用，靈活調(diào)整數(shù)據(jù)塊大小及分類，使性能達到最佳。

（6）靈活IOPS。采用分布式架構可以滿足大型業(yè)務對高讀寫性能的需求。

3 云存儲關鍵技術

云存儲在架構上可以稱為分布式存儲。分布式存儲就是將標準X86服務器的分散存儲資源如HDD、SSD等虛擬成為一個整體資源，并對虛擬機以及上層應用提供工業(yè)界標準的SCSI、iSCSI、SMB、NFS接口，進而形成一個虛擬的存儲整體，使用戶最終面對龐大的存儲容量，無需關心存儲內(nèi)部架構及原理。

3.1 云存儲組成

分布式存儲從架構上可分為3部分：元數(shù)據(jù)服務器（MDS）、數(shù)據(jù)服務器（DS）以及客戶端[7]。元數(shù)據(jù)服務器管理存儲元數(shù)據(jù)以及處理客戶端發(fā)來的請求，是整個系統(tǒng)的“心臟”[8]；數(shù)據(jù)服務器用于存放文件數(shù)據(jù)；客戶端向系統(tǒng)發(fā)送讀寫請求。該架構的優(yōu)點是能夠同時提升容量和性能，增強系統(tǒng)的彈性。分布式存儲架構見圖2。

圖2 分布式存儲架構

3.2 實現(xiàn)機制原理

云存儲的實現(xiàn)機制就是將數(shù)據(jù)分散地存儲在不同物理空間的多個存儲服務器上，并把這些不同物理位置的資源虛擬成統(tǒng)一的資源池。在分布式系統(tǒng)中，文件數(shù)據(jù)被切分成等大小的若干數(shù)據(jù)分塊（Chunk），每個數(shù)據(jù)分塊可復制成多個副本，分散在多個DS中，該文件的元數(shù)據(jù)信息包含所有數(shù)據(jù)分塊及其副本的位置信息，作為后續(xù)數(shù)據(jù)訪問的依據(jù)。一般情況下，為保證系統(tǒng)容量均衡和負載均衡，所有數(shù)據(jù)分塊均以完全隨機的方式分布在系統(tǒng)內(nèi)所有數(shù)據(jù)服務器內(nèi)。但對于某些高要求應用，如“存儲即計算”框架下的應用程序，需要對數(shù)據(jù)的存儲位置有更精細的控制，用戶可以指定數(shù)據(jù)塊存儲的DS。數(shù)據(jù)分塊的大小也可由用戶指定，用戶根據(jù)應用的訪問模式對單個文件選擇最適合的分塊大小。數(shù)據(jù)量小于分塊設定大小的數(shù)據(jù)分塊（通常是小文件或文件尾塊），其真實存儲空間與實際大小相符，不會出現(xiàn)塊內(nèi)碎片。

3.3 服務實現(xiàn)流程

在分布式存儲系統(tǒng)中，一個完整的數(shù)據(jù)訪問流程需要MDS、客戶端以及DS三者相互通信協(xié)調(diào)完成。一般情況下，數(shù)據(jù)訪問都是由客戶端開始，當客戶端接收到來自應用的文件訪問時，會根據(jù)需要發(fā)送相應的訪問請求到DS和MDS，并處理DS和MDS的響應，并將結果返回至上層應用。數(shù)據(jù)訪問流程見圖3。

圖3 數(shù)據(jù)訪問流程

（1）文件讀操作?？蛻舳耸紫刃枰騇DS發(fā)送請求，獲取該文件的數(shù)據(jù)分塊分布信息，結合文件讀操作所帶參數(shù)（偏移量和長度），將該讀操作指令轉換為1個或者多個不同的讀請求，每個指令面向1個數(shù)據(jù)分塊。隨后，客戶端將該請求發(fā)往數(shù)據(jù)分塊所在的DS，當所讀取分塊數(shù)據(jù)從DS返回后，客戶端負責截取或組裝數(shù)據(jù)，并將結果返回至上層應用，完成整個文件的讀操作。

（2）文件寫操作。文件寫操作同樣需要客戶端與DS和MDS交互?？蛻舳耸盏缴蠈討玫奈募懻埱髸r，首先向MDS發(fā)送請求獲取可寫入的DS列表，隨后根據(jù)文件寫操作參數(shù)（偏移量和長度），將待寫入數(shù)據(jù)拆分成多個數(shù)據(jù)分塊，選擇合適的DS發(fā)送數(shù)據(jù)分塊的寫請求，當所有DS響應后，客戶端整理最終結果返回給上層應用。與讀操作不同，寫操作還需要考慮文件的副本需求，當文件使用多副本時，每個數(shù)據(jù)分塊均會被復制多份，并按照策略選擇不同的DS存儲。對于不涉及數(shù)據(jù)操作的元數(shù)據(jù)操作，客戶端接收到這類文件訪問請求后，將只與MDS通信。這類操作包括：針對目錄的操作、刪除、創(chuàng)建、更改權限等。

3.4 容錯機制

在云存儲中常用的容錯方式主要為副本或糾刪碼（EC）[9]。

（1）副本方式。將同一份數(shù)據(jù)1∶1的多次存儲，在一些數(shù)據(jù)出現(xiàn)問題時通過剩余的副本進行恢復。該方式可將數(shù)據(jù)多次復制，實現(xiàn)2副本、多副本備份。安全性極高，但同時將占用更多的存儲資源空間和能耗。副本原理見圖4。

圖4 副本原理

（2）糾刪碼方式。該方法通過軟件計算方法保障數(shù)據(jù)的高可用。將數(shù)據(jù)切分成各種粒度的數(shù)據(jù)塊，利用算法計算出許多冗余校驗數(shù)據(jù)塊，并將這些數(shù)據(jù)塊分散存儲在不同的物理位置。通過對n塊基礎數(shù)據(jù)塊計算得到m塊冗余數(shù)據(jù)。對于這n+m的數(shù)據(jù)塊，一旦其中m個塊出錯時（包括基礎數(shù)據(jù)和冗余數(shù)據(jù)），可以通過相應的回歸算法復原基礎n塊數(shù)據(jù)[10]。磁盤利用率為n/（n+m）。與副本相比，糾刪碼方式更加先進，磁盤利用率更高。糾刪碼原理見圖5。

圖5 糾刪碼原理

綜上所述，軟件定義分布式存儲的核心是利用軟件系統(tǒng)高效靈活的算法，將數(shù)據(jù)隨機分布存儲在不同物理位置，將軟件與硬件耦合。利用分布式算法及虛擬化技術將集群內(nèi)的存儲資源進行靈活自動化調(diào)配，為用戶提供整體存儲服務，具有分布式擴展、集中存儲、數(shù)據(jù)加密等優(yōu)點。

4 鐵路綜合視頻監(jiān)控系統(tǒng)云存儲方案

鐵路綜合視頻監(jiān)控系統(tǒng)由視頻核心節(jié)點、視頻區(qū)域節(jié)點、Ⅰ類視頻接入節(jié)點、Ⅱ類視頻接入節(jié)點、視頻采集點、視頻匯集點、視頻終端和承載網(wǎng)絡組成[11]，其架構見圖6。

存儲主要設置在Ⅰ類及Ⅱ類視頻接入節(jié)點，目前鐵路各節(jié)點間通信依靠鐵路數(shù)據(jù)網(wǎng)，以千兆鏈路為主，個別線路依靠OTN技術實現(xiàn)了萬兆以上通信，磁盤陣列與存儲服務器通信。采用云存儲方式，云存儲集群內(nèi)部自己搭建萬兆局域網(wǎng)通信，存儲服務器及磁盤陣列更換為整體的分布式存儲系統(tǒng)。云存儲視頻監(jiān)控系統(tǒng)結構見圖7。根據(jù)高速鐵路點多線長的特點，提出以下云存儲實現(xiàn)方案。

圖6 鐵路綜合視頻監(jiān)控系統(tǒng)架構

圖7 云存儲視頻監(jiān)控系統(tǒng)結構

4.1 站站云方案

各站均部署1個存儲本站圖像的云存儲集群。針對目前的IP-SAN架構，僅對既有的IP-SAN存儲系統(tǒng)進行更換。站站云方案見圖8。

（1）方案優(yōu)點：①與之前的綜合視頻監(jiān)控系統(tǒng)比較，架構變化最小；②對各站之間數(shù)據(jù)網(wǎng)帶寬壓力無影響；③與之前的IP-SAN存儲比較，提高了單站存儲的可靠性。

（2）方案缺點：①由于至少需要3臺云服務器才能組成1個云存儲集群，所以造成投資成本高，且需維護設備較多；②單站存儲容量相對較小，無法有效發(fā)揮云存儲集群海量存儲的價值。

圖8 站站云方案

4.2 手拉手備份方案

基于鐵路網(wǎng)絡的特點，應用云存儲需具有遠程保護的功能，提出手拉手備份方案（見圖9）。具體方案為：所有Ⅰ類節(jié)點和Ⅱ類節(jié)點都部署存儲設備，每個節(jié)點的數(shù)據(jù)可備份至臨近節(jié)點組成云架構，一旦本站存儲集群出現(xiàn)故障，就可以將視頻業(yè)務切換至臨站。

（1）方案優(yōu)點：①利用云存儲的特性，做到站點級的備份保護；②業(yè)務正常使用時對各站之間帶寬無影響。

圖9 手拉手備份方案

（2）方案缺點：①需要在建設初期為每站都預留部分臨站的備用空間，會增加投資成本；②故障時業(yè)務切向備用連接到臨站，會導致站間流量瞬間加大，帶寬壓力變大。

4.3 相對集中云

在大站部署分布式云存儲集群，將相鄰的容量需求較小的車站視頻集中存儲到大站，可根據(jù)不同線路特點靈活部署。相對集中云方案見圖10。

（1）方案優(yōu)點：①幾個車站形成1個云，資源相對集中，可實現(xiàn)統(tǒng)一管理，能更好地發(fā)揮云存儲的優(yōu)勢；②大大減小了小站機房的空間壓力；③在建設初期就已經(jīng)根據(jù)線路各站間數(shù)據(jù)網(wǎng)帶寬情況和小站碼流總量進行規(guī)劃設計。

（2）方案缺點：對小站與大站之間的網(wǎng)絡形成依賴。

圖10 相對集中云方案

鐵路綜合視頻監(jiān)控系統(tǒng)有別于一般公眾行業(yè)的安防系統(tǒng)，它具有點多線長帶寬有限的特點。基于鐵路自身特點，大集中的視頻云存儲方案在現(xiàn)階段還難以實現(xiàn)。為了順應技術發(fā)展，配合越來越豐富的上層視頻應用，相對集中的云存儲方案靈活可控，在建設初期就可根據(jù)各站之間的數(shù)據(jù)網(wǎng)帶寬情況選擇合適的部署點，應是現(xiàn)階段的最佳選擇。

5 鐵路綜合視頻監(jiān)控系統(tǒng)云平臺建設方案

隨著云技術、人工智能的發(fā)展，在承載網(wǎng)絡帶寬具備條件的情況下，云存儲只是邁出了鐵路視頻監(jiān)控智能化的第一步，僅對存儲部分進行了智能分布式架構設計，在存儲層面實現(xiàn)了高可用和在線擴容。若要實現(xiàn)真正的智能化綜合視頻監(jiān)控系統(tǒng)，還需進行深入研究，將既有視頻系統(tǒng)內(nèi)的管理、告警、分轉發(fā)以及相關的業(yè)務功能與云存儲設備及功能高度耦合，形成云平臺方案，真正實現(xiàn)系統(tǒng)級的智能化、高可用和永久在線維護。綜合視頻監(jiān)控系統(tǒng)結構可調(diào)整為“視頻核心節(jié)點—視頻區(qū)域節(jié)點—視頻接入節(jié)點—視頻匯集點—視頻采集點”架構，將各接入節(jié)點均設置云平臺，將用戶資源、攝像機資源、告警資源、存儲資源等統(tǒng)一進行計算，實現(xiàn)全系統(tǒng)的彈性計算、彈性存儲分配，保證全系統(tǒng)動態(tài)資源調(diào)度管理和動態(tài)能耗管理，即取消原Ⅰ類接入節(jié)點對各Ⅱ類接入節(jié)點的管理層級限制，實現(xiàn)統(tǒng)一管理功能。綜合視頻監(jiān)控云平臺結構見圖11。

圖11 綜合視頻監(jiān)控云平臺結構

6 結束語

分析既有鐵路綜合視頻監(jiān)控系統(tǒng)存儲現(xiàn)狀，研究探討云存儲實現(xiàn)模式。通過方案比選，甄選出適合現(xiàn)階段鐵路綜合視頻監(jiān)控集中云存儲系統(tǒng)的建設方案，可有效提升監(jiān)控存儲的安全性和穩(wěn)定性，并進一步優(yōu)化系統(tǒng)結構，提出云平臺方案，為綜合視頻監(jiān)控系統(tǒng)智能化以及大數(shù)據(jù)分析提供基礎保障。

綜合視頻云存儲系統(tǒng)只是邁出了鐵路視頻監(jiān)控智能化的第一步，在存儲層面實現(xiàn)了高可用和在線擴容。為使鐵路綜合視頻監(jiān)控系統(tǒng)發(fā)揮更大價值，仍需進一步研究，將既有視頻系統(tǒng)內(nèi)的管理以及分轉發(fā)等業(yè)務功能與云存儲設備及其功能高度耦合，形成云平臺方案，才能真正實現(xiàn)系統(tǒng)級的智能化、高可用和永久在線維護。