朱超 王鵬 許津津
【摘要】? ? 隨著視頻技術發(fā)展以及系統(tǒng)在軌道交通運營管理、客流分析、安全防控等方面的重要輔助功能日益突出,云存儲技術作為新興的視頻存儲方案,本文探討了幾種基于軌道交通的云存儲方案,簡要分析了相關的數(shù)據(jù)管理模式,并對帶寬需求、存儲容量進了對比。
【關鍵詞】? ? 軌道交通? ? 視頻監(jiān)視? ? 云存儲
一、軌道交通視頻存儲需求
1.1 存儲時間長
根據(jù)《反恐怖主義法》、《城市軌道交通公共安全防范系統(tǒng)工程技術規(guī)范》(GB51151-2016)的規(guī)定,軌道交通視頻監(jiān)視圖像需存儲90天以上。
1.2 存儲體量大、類型多
目前高清視頻監(jiān)控技術基本已在軌道交通中的大規(guī)模應用,視頻清晰度基本已達到1080P以上,監(jiān)控數(shù)據(jù)中90%以上是海量非結(jié)構化數(shù)據(jù),包括高清視頻、高清圖片、語音、事件數(shù)據(jù)等。
解決這些海量數(shù)據(jù)的可靠存取,提升系統(tǒng)的可靠性、可用性、開放互聯(lián)、帶寬需求等問題,對存儲架構選擇、存儲方案優(yōu)化提出了新的要求和挑戰(zhàn)。
二、云存儲方案簡介
2.1云存儲方案的特點
目前在地鐵領域,傳統(tǒng)存儲技術包括NVR技術、SAN(IP SAN、FC SAN)存儲技術、云存儲技術等。
面對海量存儲需求,傳統(tǒng)存儲技術在容量和性能的擴展上會存在瓶頸,對視頻備份及恢復的相關能力上能力稍弱。根據(jù)視頻數(shù)據(jù)存儲特性需求,采用云存儲技術可以實現(xiàn)性能與容量的線性擴展,這對于追求高性能、高可用性的軌道交通視頻監(jiān)視系統(tǒng)來說是一個新選擇。
云存儲是在云計算概念上延伸和發(fā)展出來的一個新的概念應用存儲虛擬化技術將網(wǎng)絡中大量各種不同類型的存儲設備通過軟件調(diào)度進行集合,實現(xiàn)統(tǒng)一的對外存儲。
文件寫入云存儲系統(tǒng)中,文件被分為多個固定大小的數(shù)據(jù)塊,而1個數(shù)據(jù)塊被分為N個數(shù)據(jù)分片,因此數(shù)據(jù)可以靈活的分配。此外利用云存儲可以實現(xiàn)數(shù)據(jù)分布式存儲的功能(如圖1),一份數(shù)據(jù)存儲時,可對數(shù)據(jù)備份,分布在2個存儲節(jié)點。
2.2存儲方案
根據(jù)軌道交通視頻監(jiān)視系統(tǒng)高清化、網(wǎng)絡化、智能化的特點,目前通行的建設視頻云存儲架構方案有中心集中存儲、區(qū)域云存儲、站點分散存儲三種。
2.2.1中心集中存儲
(1)總體方案
在控制中心(或集中數(shù)據(jù)機房)設置1套云存儲設備(如圖2所示),線路所有車站、車輛段、停車場視頻監(jiān)視圖像均統(tǒng)一上傳存儲在控制中心。
(2)數(shù)據(jù)管理
中心云存儲方案將各站點所有數(shù)據(jù)通過傳輸系統(tǒng)傳輸至控制中心。
在中心云存儲方案中,文件被分為多個固定大小的數(shù)據(jù)塊,1個數(shù)據(jù)塊被分為若干個源數(shù)據(jù)分片,分別存入不同的存儲節(jié)點,源數(shù)據(jù)分片通過算法得到冗余的數(shù)個數(shù)據(jù)分片,單獨存入冗余存儲節(jié)點,如圖3示,在沒有存儲節(jié)點故障時,文件直接從源數(shù)據(jù)分片中讀取。
當存儲節(jié)點故障導致源數(shù)據(jù)分片損壞時,可通過冗余的數(shù)據(jù)節(jié)點數(shù)據(jù)恢復出源數(shù)據(jù)分片,如圖4所示。
2.2.2區(qū)域云存儲
(1)總體方案
每3或4個車站選擇集中站分別設置1套云存儲設備,如圖5所示,結(jié)合云存儲技術可實現(xiàn)分布式數(shù)據(jù)存儲的特點,3或4個車站的視頻圖像進行互相備份,形成區(qū)域云存儲。
當硬件出現(xiàn)不可恢復故障時,采用區(qū)域云存儲系統(tǒng)互備功能,每站對區(qū)域站內(nèi)視頻圖像進行備份,可實現(xiàn)故障前若干天歷史數(shù)據(jù)不丟失,歷史數(shù)據(jù)恢復天數(shù)由預留的互備容量決定。
車站云存儲系統(tǒng)支持雙存儲點,即主存儲點和副存儲點;存儲池從功能層面劃分為本地存儲和互備存儲。如圖5所示,以3個車站組成的區(qū)域云存儲系統(tǒng)互備為例,車站A主存儲點掛載本地存儲,副存儲點掛載車站B互備存儲;車站A主存儲點掛載本地存儲,副存儲點掛載車站C互備存儲;車站C主存儲點掛載本地存儲,副存儲點掛載車站A互備存儲。
(2)數(shù)據(jù)管理
單個車站配置存儲節(jié)點組成車站云存儲系統(tǒng),以網(wǎng)絡拓撲中相鄰的3或4個車站云存儲系統(tǒng)組成區(qū)域云存儲系統(tǒng)為例。
當車站A存儲節(jié)點故障時,現(xiàn)車站A云存儲無法完全接管故障節(jié)點的視頻業(yè)務時,區(qū)域云存儲系統(tǒng)內(nèi)其他車站云的災備接管模式為搶占式,根據(jù)自身的最大冗余接管能力接入需要遷移的視頻業(yè)務。
如圖6所示,車站A內(nèi)部無法完全接管的視頻業(yè)務,被分配到區(qū)域內(nèi)部的車站B和車站C進行接管。發(fā)生災備接管時,僅被分配到車站B和車站C的視頻業(yè)務將占用車站A到車站B、車站A到車站C之間的帶寬,不占用其他車站的帶寬。
正常工作時,視頻數(shù)據(jù)同時寫入主存儲點和副存儲點,實現(xiàn)視頻本站存儲及跨站互備。當車站A存儲硬件損毀時,車站B互備存儲上保存的車站A歷史視頻不受任何影響,無需進行數(shù)據(jù)恢復即可進行錄像調(diào)看;同時支持錄像回遷策略,待車站A存儲設備恢復時,支持將車站A互備存儲上的歷史數(shù)據(jù)回遷至車站A存儲設備中。
(3)區(qū)域云存儲方案的擴展
本方案可通過增設中心云存儲設備,形成“中心-區(qū)域-車站”三級存儲架構。中心災備云存儲系統(tǒng)與所有車站云存儲系統(tǒng)互備。當車站云需要遷移的視頻業(yè)務超過區(qū)域云存儲系統(tǒng)的接管能力時,超出接管能力的視頻圖像將由中心災備云存儲系統(tǒng)接管,如圖7所示。此時,中心災備云存儲提供最終的災備能力保障。
2.2.3分散式云存儲
分散式云存儲方案下,車站視頻直接存儲在車站通信機房內(nèi),如圖8所示。
(1)數(shù)據(jù)管理
分散式云存儲方案模式下,每個車站均設置一套獨立的云存儲系統(tǒng)??刂浦行牟辉O置存儲設備,控制中心設置中心管理設備,對全線車站的視頻監(jiān)視設備進行故障管理、性能管理、配置管理、安全管理。
數(shù)據(jù)恢復及管理與中心云存儲方案相相似,區(qū)別在于每站均為獨立設置的云存儲系統(tǒng),當存儲節(jié)點故障導致源數(shù)據(jù)分片損壞時,需將故障信號上傳至控制中心,并由控制中心進行故障記錄及分析,車站云存儲通過冗余數(shù)進行恢復相關數(shù)據(jù)。
(2)方案擴展
本方案可在控制中心增設中心云存儲設備,形成“中心-車站”的存儲架構,中心設置一座車站容量的存儲,如單站提供災備能力保障。
三、方案分析
3.1帶寬分析
采用中心云存儲方案需將車站所有視頻圖像上傳至控制中心,對傳輸網(wǎng)絡帶寬要求較高,按30座車站每站300路4M碼流視頻圖像(預留遠期)考慮,則總線帶寬需求為36000M以上。采用區(qū)域云存儲方案,需對車站視頻圖像進行互備,對傳輸網(wǎng)絡帶寬要求較高,按每站300路4M碼流視頻圖像(預留遠期)考慮,則站間帶寬需求為1200M以上。分散式云存儲對帶寬需求較小,只需要中心對各站視頻調(diào)取的帶寬,一般為總線1000M,如對分散式云存儲進行擴展,設置中心存儲設備,則需考慮整站視頻上傳的需求,即總線帶寬需求為1200M以上
中心云存儲方案、區(qū)域云存儲方案對帶寬需求較高,如果傳輸網(wǎng)絡故障,車站圖像將無法傳送,存在一定的風險。
3.2容量分析
1路1080P@25 幀(1920×1080)攝像機圖像按照4M的碼流計算 90 天的存儲空間:4Mbps×3600 秒×24 小時×90 天/1024/1024/8=3.7TB。
若采用中心集中存儲方案,所有視頻集中在控制中心機房內(nèi),按30座車站考慮,則控制中心機房需存儲數(shù)據(jù)容量為32.52P。
區(qū)域云存儲方案由于每站需要對鄰站的存儲余量進行存儲,則每站視頻數(shù)據(jù)增加一倍,每站存儲(存儲300路,備份300路)需存儲空間為2220T,全線存儲總?cè)萘繛?5.04P。
采用分散式云存儲則每站容量為每站存儲(考慮300路)存儲需求為1110T,全線存儲總?cè)萘繛?2.52P。
可見,分散式云存儲只需利用車站通信機房,集中云存儲方案需規(guī)劃一個較大的通信機房對數(shù)據(jù)進行存儲,而區(qū)域云存儲方案由于進行數(shù)據(jù)的冗余,整體造價翻番。
以上為三種方案的粗略分析,在實際建設中還應相應地考慮系統(tǒng)開銷及預留容量。
四、結(jié)語
中心云存儲方案將所有視頻數(shù)據(jù)集中存儲在控制中心,實現(xiàn)了統(tǒng)一管理、集中運維,業(yè)務集成度高,基礎體系架構簡單,應用架構部署靈活,硬件采購成本較低。劣勢在于對傳輸系統(tǒng)傳輸帶寬要求極高,網(wǎng)絡的依賴程度高,單點故障風險較大。
區(qū)域云存儲方案通過鄰站互傳的方式結(jié)合云存儲技術可實現(xiàn)分布式數(shù)據(jù)存儲的特點,在數(shù)據(jù)恢復上具備明顯優(yōu)勢,在任意車站數(shù)據(jù)全部毀壞的情況下仍可對數(shù)據(jù)進行還原,劣勢在于對傳輸網(wǎng)絡帶寬有一定的要求,同時硬件造價有較大的提升。
分散式云存儲方案在各站分別設置存儲系統(tǒng),不考慮互傳及集中存儲,站站相互獨立,無需高成本傳輸網(wǎng)絡,且站點個性化容易體現(xiàn)。對于土建的影響較小,后續(xù)運營維護管理方便。
綜合考慮數(shù)據(jù)機房及其它配套條件、數(shù)據(jù)傳輸帶寬需求和實施成本,在城市軌道交通視頻監(jiān)控項目中,如果對于數(shù)據(jù)恢復沒有特殊需求,建議考慮實施分散式云存儲方案,如考慮中心數(shù)據(jù)接管貢納,也只需適量的增大總線帶寬就可實現(xiàn)。
朱超(1991-),男,漢,安徽省太湖縣,上海市隧道工程軌道交通設計研究院,工程師,主要從事工作:軌道交通通信系統(tǒng)設計
王鵬,男,漢,1981年3月28日,甘肅省蘭州市,天津地下鐵道集團有限公司,高級工程師,主要從事工作:弱電專業(yè)建設管理。
許津津,男,漢,1981年10月28日,河北省石家莊市,中鐵上海設計院集團有限公司,高級工程師,主要從事工作:軌道交通通信系統(tǒng)設計