程智源,嚴 瑾
(中鐵二院工程集團有限責任公司,成都 610036)
鐵路是國家重要的交通基礎(chǔ)設(shè)施,是關(guān)系國家發(fā)展和經(jīng)濟命脈的重大基礎(chǔ)建設(shè),兼具便民、安全、經(jīng)濟、高效等特點,加快鐵路發(fā)展已經(jīng)成為社會各方面的共識。隨著鐵路路網(wǎng)規(guī)模的不斷擴大,鐵路的建設(shè)逐漸演變成為一個集成化的綜合工程,鐵路運輸指揮、生產(chǎn)管理、設(shè)備監(jiān)控等都離不開視頻監(jiān)控系統(tǒng)。隨著各業(yè)務(wù)部門的視頻需求不斷增加,視頻監(jiān)控系統(tǒng)向數(shù)字化、高清化的不斷發(fā)展,使得視頻存儲硬件設(shè)備和存儲數(shù)據(jù)量激增;同時,鐵路視頻監(jiān)控數(shù)據(jù)的重要程度越來越高,視頻數(shù)據(jù)的丟失所帶來的損失與影響巨大,因此如何有效地管理視頻監(jiān)控系統(tǒng)的數(shù)據(jù)及設(shè)備成為鐵路建設(shè)的重點和難點。
隨著物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的發(fā)展,視頻監(jiān)控存儲技術(shù)也在不斷的發(fā)生改變。目前,鐵路綜合視頻存儲系統(tǒng)的部署主要采用服務(wù)器+ 存儲區(qū)域網(wǎng)絡(luò)(Storage Area Network,SAN)存儲架構(gòu),前端采集的監(jiān)控數(shù)據(jù)通過服務(wù)器中的管理模塊存儲到 SAN設(shè)備中。由于 SAN 存儲采取了集中管控的方式,數(shù)據(jù)的接入、存儲和轉(zhuǎn)發(fā)都依托于服務(wù)器,對服務(wù)器的承載負荷面臨著十分巨大的挑戰(zhàn); 另一方面,鐵路綜合視頻監(jiān)控系統(tǒng)具有海量視頻數(shù)據(jù)隨機讀寫、單站前端圖像并發(fā)壓力大等特點,傳統(tǒng)的 IP- SAN存儲系統(tǒng)由于單一設(shè)備的局限性, 一旦發(fā)生集中回放,單一節(jié)點容易出現(xiàn)性能瓶頸,并且目前的存儲方式無法實現(xiàn)存儲單元之間的數(shù)據(jù)共享冗余,無法形成一個整體的安全防護系統(tǒng)管理。因此,傳統(tǒng)的存儲系統(tǒng)逐漸無法完全滿足鐵路綜合視頻監(jiān)控系統(tǒng)不斷發(fā)展的多樣化需求。
云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng),通過并行計算、分布式、虛擬化等網(wǎng)絡(luò)技術(shù)的融合,實現(xiàn)海量數(shù)據(jù)與資源的集中供給、多維數(shù)據(jù)融合,具有彈性擴展,負載均衡及高級別可靠性等顯著優(yōu)勢,能夠有效滿足存儲容量擴展、便捷共享以及統(tǒng)一管理等需求,可有效解決傳統(tǒng)存儲方式無法解決的一些問題,作為一種新型存儲技術(shù),云存儲在鐵路綜合視頻監(jiān)控系統(tǒng)的建設(shè)有著可觀的應(yīng)用前景。
視頻監(jiān)控系統(tǒng)的數(shù)據(jù)及設(shè)備管理是鐵路建設(shè)的重點和難點,隨著視頻監(jiān)控系統(tǒng)朝著數(shù)字化、網(wǎng)絡(luò)化、智能化方向的發(fā)展,視頻監(jiān)控存儲技術(shù)也在不斷的發(fā)生改變。
早期的監(jiān)控系統(tǒng)采用的是盒式磁帶錄像機(Video Cassette Recorder,VCR )存儲,實現(xiàn)最基本的影像功能和記錄功能;第二代存儲是DVR(Digital Video Recorder,硬盤錄像機), DVR 通過計算機及網(wǎng)絡(luò)技術(shù),采用數(shù)字化視頻圖像處理方式將視頻存儲在硬盤上,實現(xiàn)了存儲的數(shù)字化以及遠程網(wǎng)絡(luò)管理功能。
第三代存儲是網(wǎng)絡(luò)存儲,分為網(wǎng)絡(luò)硬盤錄像機(Network Video Recorder,NVR)和SAN 存儲。網(wǎng)絡(luò)存儲由存儲器件和內(nèi)嵌的系統(tǒng)軟件組成,允許用戶在網(wǎng)絡(luò)上進行數(shù)據(jù)的存取,通常占有局域網(wǎng) (Local Area Network,LAN)上的節(jié)點,網(wǎng)絡(luò)存儲大大降低了應(yīng)用或企業(yè)服務(wù)器的負載,集中管理和處理網(wǎng)絡(luò)上的所有數(shù)據(jù),可有效降低用戶成本。
服務(wù)器+SAN 存儲架構(gòu)基于以太網(wǎng)技術(shù),通過TCP/IP 協(xié)議標準進行數(shù)據(jù)傳輸,一般適用于集中數(shù)據(jù)信息存儲。由于服務(wù)器+SAN 架構(gòu)的存儲系統(tǒng)建設(shè)成本低、技術(shù)配置簡單、可靠穩(wěn)定,并且擁有良好的兼容性、可擴展性、硬件平臺通用、數(shù)據(jù)共享等優(yōu)點。因此,服務(wù)器+SAN 存儲的架構(gòu)在大規(guī)模、網(wǎng)絡(luò)化、數(shù)字化的視頻存儲被廣泛應(yīng)用,在鐵路視頻監(jiān)控系統(tǒng)的應(yīng)用中處于主流存儲地位。
隨著視頻監(jiān)控系統(tǒng)在公共安全領(lǐng)域的價值不斷的凸顯,用戶需要監(jiān)控的范圍及對錄像存儲的時間變得越來越大,因此視頻監(jiān)控系統(tǒng)產(chǎn)生的錄像文件也變得越來越多。同時基于傳統(tǒng)操作系統(tǒng)的文件式存儲受限于系統(tǒng)索引個數(shù)的限制,以及單文件系統(tǒng)對硬盤的讀寫IO 較慢,因此不再適應(yīng)未來的發(fā)展要求。
云存儲是具有數(shù)據(jù)存儲和管理功能的云計算系統(tǒng),不僅是具有超高性能的新技術(shù)、新設(shè)備存儲模型,也是一種創(chuàng)新型服務(wù)模式。云存儲采用集群、分布式計算、虛擬化等技術(shù),將多個存儲設(shè)備通過網(wǎng)絡(luò)連接在一起,集合所有存儲設(shè)備構(gòu)成共享的統(tǒng)一存儲資源池,共同對外提供高性能、高可靠性的數(shù)據(jù)存儲、訪問、處理等服務(wù),云存儲統(tǒng)一的資源池便于集中管理,災(zāi)備冗余、靈活擴展、有效利用。
云存儲系統(tǒng)的物理架構(gòu)如圖1 所示,主要由存儲層、基礎(chǔ)管理層、應(yīng)用接口層、訪問層構(gòu)成。
圖1 云存儲系統(tǒng)架構(gòu)模型Fig.1 Architecture model for cloud storage system
存儲層主要由相關(guān)硬件設(shè)施組成,包括中心節(jié)點、元數(shù)據(jù)節(jié)點、存儲節(jié)點。存儲層設(shè)備往往分布于不同地區(qū)且數(shù)量龐大,通過廣域網(wǎng)、光纖通道或互聯(lián)網(wǎng)進行數(shù)據(jù)傳輸。元數(shù)據(jù)節(jié)點主要負責云存儲系統(tǒng)的數(shù)據(jù)管理、索引、訪問及處理,實現(xiàn)并發(fā)訪問、集中管理、災(zāi)備冗余等功能;基礎(chǔ)管理層是云存儲系統(tǒng)最為核心的部分,主要通過集群、分布式文件、虛擬化、高性能網(wǎng)絡(luò)計算等技術(shù),實現(xiàn)存儲層設(shè)備間的協(xié)同工作,構(gòu)成統(tǒng)一的存儲資源池,共同對外提供海量數(shù)據(jù)管理、訪問、分析等服務(wù);應(yīng)用接口層是在存儲層和基礎(chǔ)管理層之上構(gòu)建的服務(wù)接口,各運營單位可根據(jù)自身需求提供不同的應(yīng)用接口和服務(wù),是云存儲系統(tǒng)中最為靈活多變的部分;訪問層可按照使用者的不同需求提供相應(yīng)的訪問服務(wù)接口。
相較于傳統(tǒng)的視頻存儲技術(shù),云存儲的優(yōu)勢十分顯著。云存儲可將視頻數(shù)據(jù)分散存儲至多個節(jié)點,通過負載均衡技術(shù)將各節(jié)點的存儲數(shù)據(jù)按需分布于各個節(jié)點上,有效避免了存儲資源冗余及浪費,可有效預(yù)防元數(shù)據(jù)處理能力出現(xiàn)瓶頸。在數(shù)據(jù)安全和恢復(fù)方面,云存儲可提供多種保護機制 ,通過數(shù)據(jù)自愈、災(zāi)備冗余等手段,可有效實現(xiàn)多節(jié)點保護功能,即使單一節(jié)點的存儲設(shè)備發(fā)生損壞,云存儲系統(tǒng)也不會發(fā)生傳統(tǒng)存儲手段發(fā)生的數(shù)據(jù)全部損壞,對于未損壞部分的數(shù)據(jù)仍然可讀、可用。
目前,華為、??怠⒅锌剖锕獾榷嗉覐S商提供的云存儲系統(tǒng)架構(gòu)、設(shè)備類型各有不同,在構(gòu)建鐵路綜合視頻監(jiān)控系統(tǒng)的過程中,為了實現(xiàn)不同廠家平臺、設(shè)備互聯(lián)互通、有效利舊、資源共享,需要對視頻云存儲技術(shù)標準和設(shè)計原則進行規(guī)范。
云存儲方案的設(shè)計應(yīng)當能夠滿足鐵路綜合視頻監(jiān)控業(yè)務(wù)使用需求,同時還應(yīng)具備一定的先進性、兼容性和穩(wěn)定性,使系統(tǒng)具有容量擴容及升級換代的可能。結(jié)合云存儲的技術(shù)特點,在方案設(shè)計時建議符合以下3 個方面的原則。
1)系統(tǒng)的可擴展性,支持500PB 級單卷數(shù)據(jù)存儲,并在項目設(shè)計方案中考慮冗余,以滿足后續(xù)升級的需求。
2)采用標準化的部件,利于靈活替換和容量擴展,在擴展系統(tǒng)容量時,應(yīng)當確保系統(tǒng)的性能得到線性提升。
3)系統(tǒng)的設(shè)計需符合存儲技術(shù)以及IT 行業(yè)的發(fā)展趨勢,確保系統(tǒng)技術(shù)水平和處理能力達到業(yè)內(nèi)領(lǐng)先。
1)需支持國際通用的網(wǎng)絡(luò)標準協(xié)議、國際標準應(yīng)用開放協(xié)議,支持多種業(yè)務(wù)應(yīng)用接入。
2)采用業(yè)界主流的硬件平臺、操作系統(tǒng)、數(shù)據(jù)庫,確保各節(jié)點服務(wù)器間的相互兼容。
3)接口層可以與第三方應(yīng)用集成,根據(jù)客戶需求提供定制化服務(wù)。
4)系統(tǒng)應(yīng)具備彈性擴展能力,滿足今后擴容需求。
鐵路綜合視頻監(jiān)控系統(tǒng)的數(shù)據(jù)具有用戶數(shù)量大、范圍廣、實時性強的特點,為確保系統(tǒng)運行可靠,數(shù)據(jù)不丟失,應(yīng)增強系統(tǒng)安全防護能力。建議符合以下原則:
1)系統(tǒng)采用分布式存儲架構(gòu),具有較強伸縮性;
2)系統(tǒng)支持存儲系統(tǒng)集群,滿足高可靠性;
3)系統(tǒng)具備充分的災(zāi)備冗余、數(shù)據(jù)容錯能力,防止數(shù)據(jù)丟失、損壞;
4)系統(tǒng)具有標準的技術(shù)保障體系,在硬盤、服務(wù)器等設(shè)備發(fā)生損壞時,讀寫業(yè)務(wù)不會中斷,不會造成已有數(shù)據(jù)的丟失;
5)系統(tǒng)具備數(shù)據(jù)自愈能力,在數(shù)據(jù)損壞時不會造成數(shù)據(jù)丟失。
為規(guī)范視頻監(jiān)控系統(tǒng)的統(tǒng)一管理,最大限度發(fā)揮視頻監(jiān)控系統(tǒng)在運輸生產(chǎn)中的作用,目前的鐵路綜合視頻設(shè)計分為三級架構(gòu),視頻核心節(jié)點位于國鐵集團,視頻區(qū)域節(jié)點位于各鐵路局集團公司,Ⅰ類、Ⅱ類視頻接入節(jié)點位于各站段內(nèi)。根據(jù)既有綜合視頻系統(tǒng)設(shè)置方案及云存儲的特性,本文提出鐵路綜合視頻監(jiān)控系統(tǒng)云存儲平臺的方案架構(gòu)。
根據(jù)云存儲系統(tǒng)物理結(jié)構(gòu),云平臺的邏輯架構(gòu)如圖2 所示。
圖2 云平臺邏輯架構(gòu)Fig.2 Logical architecture of cloud platform
邏輯架構(gòu)自下而上分為以下4 層。
1)基礎(chǔ)設(shè)施層
基礎(chǔ)設(shè)施層為云平臺提供基礎(chǔ)能力,主要由通用服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備等物理基礎(chǔ)設(shè)施構(gòu)成。
2)資源池層
通過虛擬化軟件對物理資源進行虛擬化,提供統(tǒng)一的計算、存儲和網(wǎng)絡(luò)資源池。資源池層同時具有一定的運維能力,包括對本地設(shè)備狀況的監(jiān)測、告警、分析、預(yù)測等。
3)服務(wù)層
服務(wù)層通過虛擬數(shù)據(jù)中心(Virtual Data Center,VDC)進行靈活的資源分配,數(shù)據(jù)中心通過云主機、物理機、網(wǎng)絡(luò)IP 按需提供各項服務(wù),例如數(shù)據(jù)索引、信息融合等。
4)管理層
管理層提供運維、運營功能,通過管理多個數(shù)據(jù)中心的資源池,實現(xiàn)資源融合共享、統(tǒng)一管理,包括布控預(yù)警、統(tǒng)計報表、性能分析、服務(wù)審批等功能。
通過調(diào)研分析多個鐵路局集團公司綜合視頻監(jiān)控系統(tǒng)的運維情況,考慮到既有設(shè)備設(shè)施情況,建議將各鐵路局視頻監(jiān)控業(yè)務(wù)區(qū)域節(jié)點改造成為云數(shù)據(jù)中心,依托于數(shù)據(jù)中心構(gòu)建云平臺。鐵路綜合視頻監(jiān)控系統(tǒng)云平臺架構(gòu)如圖3 所示。
由于云存儲系統(tǒng)需要足夠大帶寬的網(wǎng)絡(luò)進行前端數(shù)據(jù)的傳輸,考慮到目前各路局區(qū)域節(jié)點處網(wǎng)絡(luò)帶寬、機房空間、維護人員等多種因素,建議將云數(shù)據(jù)中心設(shè)置于各鐵路局集團公司區(qū)域節(jié)點。
通過區(qū)域節(jié)點作為統(tǒng)一入口時,因網(wǎng)絡(luò)帶寬等原因,仍然無法在物理數(shù)據(jù)中心完成實時視頻流、告警信號等數(shù)據(jù)的存儲和轉(zhuǎn)發(fā),為解決該問題,需要引入云計算中的分布式技術(shù)構(gòu)建虛擬數(shù)據(jù)中心。
VDC 是一種邏輯隔離技術(shù),在物理資源池化后,按照使用者的業(yè)務(wù)需求,將資源池內(nèi)的資源靈活分配給不同部門;管理員可以將VDC 內(nèi)的資源進行自主分配,包括云主機、云磁盤、物理機、彈性IP 和各項應(yīng)用服務(wù)。
通過構(gòu)建虛擬數(shù)據(jù)中心,云存儲平臺實現(xiàn)物理分散、邏輯統(tǒng)一功能,便于資源池的統(tǒng)一調(diào)度和管理。虛擬數(shù)據(jù)中心包括服務(wù)中心和運維中心,服務(wù)中心提供統(tǒng)一的運營管理,實現(xiàn)入口、服務(wù)以及支撐流程的統(tǒng)一;運維中心有機連接各個數(shù)據(jù)中心,實現(xiàn)鐵路綜合視頻監(jiān)控云平臺系統(tǒng)的整體運營和統(tǒng)一運維。
圖3 鐵路綜合視頻監(jiān)控系統(tǒng)云平臺架構(gòu)Fig.3 Cloud platform architecture of railway integrated video monitoring system
對于視頻云平臺的部署, 需根據(jù)運營單位的需求在管轄段內(nèi)設(shè)立不同的段級云平臺,實現(xiàn)段級的集中管理和調(diào)度。對于單一數(shù)據(jù)中心,可以部署一個或多個段級云平臺,各平臺包括元數(shù)據(jù)服務(wù)器和數(shù)據(jù)節(jié)點2 類設(shè)備。
分布式云平臺的架構(gòu)由數(shù)據(jù)中心和多個段級云平臺組成,根據(jù)需求定制化路局管理業(yè)務(wù)組織,并提供統(tǒng)一管理服務(wù)進行整體調(diào)度,實現(xiàn)視頻資源的共享分配。全局統(tǒng)一管理服務(wù)負責承載整個視頻云平臺多個段級云平臺的統(tǒng)一管理和數(shù)據(jù)共享,實現(xiàn)統(tǒng)一入口、全局信息統(tǒng)一管理、容災(zāi)及業(yè)務(wù)請求管理、歷史日志查詢等功能。
隨著人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)的發(fā)展,前端設(shè)備芯片的計算能力日趨提升,使得智能分析業(yè)務(wù)逐漸向前端設(shè)備轉(zhuǎn)移,大規(guī)模的并行計算和神經(jīng)網(wǎng)絡(luò)算法等技術(shù)使得視頻前端設(shè)備的圖像處理能力、人工智能程度不斷提升;另一方面云存儲具有極高的開放性,除了基本的視頻管理、分析、檢索等業(yè)務(wù)服務(wù),還會搭載統(tǒng)一的算法、應(yīng)用等接口,云平臺可根據(jù)場景需求快速集成新算法,同時支持第三方業(yè)務(wù)的快速上線,“端云協(xié)同”的視頻架構(gòu)可使智能化效率達到最大。
視頻云存儲系統(tǒng)具有高性能、彈性擴展、易于管理、高可靠性等特點,可以滿足高清視頻海量數(shù)據(jù)信息的存儲需求。本文針對視頻云存儲的設(shè)計原則及總體架構(gòu)進行闡述,提出基于云存儲的鐵路綜合視頻監(jiān)控系統(tǒng)建設(shè)方案與建議,為鐵路綜合視頻監(jiān)控系統(tǒng)下一步的發(fā)展提供了一定的參考方向。