李 鵬
(北京全路通信信號研究設(shè)計院集團有限公司,北京 100070)
視頻存儲在安防行業(yè)的發(fā)展過程中經(jīng)歷了磁帶存儲、數(shù)字視頻錄像機(DVR)、網(wǎng)絡(luò)視頻錄像機(NVR)、存儲局域網(wǎng)絡(luò)(SAN)、云存儲等方式。目前,在城市軌道交通視頻監(jiān)控領(lǐng)域多采用基于IP 網(wǎng)構(gòu)建存儲網(wǎng)絡(luò)(IP-SAN)存儲方案。IP-SAN 存儲方案利用互聯(lián)網(wǎng)小型計算機系統(tǒng)接口(iSCSI)技術(shù)將SCSI 命令和數(shù)據(jù)封裝到TCP/IP 包中進行傳輸,進而實現(xiàn)SAN 存儲功能。由于IP-SAN 存儲方案具有網(wǎng)絡(luò)簡單、管理便捷、造價低、安全可靠、產(chǎn)品成熟等特點,致使該方案成為近年來城市軌道交通領(lǐng)域采用的主流視頻存儲方案。但是,隨著城市軌道交通視頻存儲容量的劇增和基于視頻數(shù)據(jù)的智能應(yīng)用的推廣,IP-SAN 存儲方案在讀寫性能、數(shù)據(jù)安全、容量擴展、面向應(yīng)用等方面均顯現(xiàn)出不足。
云存儲技術(shù)是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件等功能,應(yīng)用存儲虛擬化技術(shù)將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件結(jié)合起來協(xié)同工作,共同對外提供數(shù)據(jù)和業(yè)務(wù)訪問功能的一個系統(tǒng),簡而言之,云存儲是一個配置了大容量存儲設(shè)備的云計算系統(tǒng)。
相較于IP-SAN 存儲方案,視頻云存儲方案具有以下優(yōu)勢。
1)存儲數(shù)據(jù)高安全性。視頻云存儲系統(tǒng)利用離散存儲技將視頻數(shù)據(jù)進行切片,以數(shù)據(jù)片的形式存儲到各節(jié)點存儲設(shè)備,當一個或多個節(jié)點存儲設(shè)備故障時,系統(tǒng)通過糾刪碼技術(shù)利用無故障節(jié)點存儲設(shè)備上的數(shù)據(jù)片對視頻數(shù)據(jù)進行恢復(fù),從而保證整個系統(tǒng)存儲數(shù)據(jù)的高安全性。
2)存儲資源共享、可動態(tài)分配。視頻云存儲系統(tǒng)為共享式存儲系統(tǒng),支持多媒體、圖片、文件等各類數(shù)據(jù)的統(tǒng)一存儲管理。所有存儲節(jié)點構(gòu)成一個存儲資源池,存儲容量可動態(tài)分配。
3)高并發(fā)讀寫性能。視頻云存儲系統(tǒng)支持集群化存儲和負載均衡特性,訪問數(shù)據(jù)采用多設(shè)備并行讀寫,可突破單臺設(shè)備瓶頸,提供海量的數(shù)據(jù)吞吐能力。單臺雙萬兆網(wǎng)絡(luò)接口設(shè)備,數(shù)據(jù)讀寫能力可超過12 GB/S,系統(tǒng)讀寫能力會隨著存儲節(jié)點數(shù)量的增加而線性增長。
4)系統(tǒng)擴容方便快捷。視頻云存儲系統(tǒng)將分散在單臺設(shè)備上的存儲資源整合成一個大的存儲資源池,建設(shè)初期可以根據(jù)各站點的視頻存儲容量需求進行資源劃分,運營期間也可以根據(jù)各站點視頻存儲容量的變化,進行存儲容量擴容或減容,而且操作方便、快捷。
5)面向應(yīng)用的存儲系統(tǒng)。視頻云存儲系統(tǒng)具有統(tǒng)一的應(yīng)用程序編程接口(Application Programming Interface,API),可以為視頻智能應(yīng)用(客流分析、人臉識別、步態(tài)識別等)、大數(shù)據(jù)分析等應(yīng)用提供強大的數(shù)據(jù)支撐平臺。
視頻云存儲方案的上述特點很好地解決了IPSAN 存儲方案在應(yīng)用中存在的問題,更適合城市軌道交通領(lǐng)域視頻監(jiān)視系統(tǒng)采用。
結(jié)合城市軌道交通視頻監(jiān)視系統(tǒng)的組網(wǎng)特點,視頻云存儲系統(tǒng)可以采用分布云存儲、集中云存儲和分組云存儲3 種方式。
為了便于進行方案對比,按全線30 座車站,1座車輛段,1 座停車場,共計32 個站點考慮,每個站點按130 路高清攝像頭考慮。下面將從系統(tǒng)架構(gòu)、設(shè)備配置、帶寬占用、用電需求、機柜數(shù)量等方面對上述3 種存儲方案進行對比。
分布云存儲就是各車站獨立設(shè)置一套云存儲系統(tǒng),形成單站視頻存儲資源池,用于存儲本站視頻圖像。為了進一步保證該系統(tǒng)的可靠性,可在中心設(shè)置一套后備存儲設(shè)備,用于單站故障時接管該站視頻圖像存儲。系統(tǒng)架構(gòu)如圖1 所示。
圖1 分布云存儲系統(tǒng)架構(gòu)示意圖Fig.1 Schematic diagram of distributed cloud storage system architecture
設(shè)備配置:按照H.265 視頻編碼標準,每路高清視頻碼流按2 Mbit/s 考慮,主用存儲時間根據(jù)《反恐法》要求按90 天考慮,單塊硬盤存儲容量按6 TB 考慮,單站點視頻存儲容量:
式中:Q-視頻存儲容量(TB);
N-單站點視頻路數(shù)(路);
M-單路視頻碼流(Mbit/s);
T-存儲時間(天)。
根據(jù)公式(1)計算可得:
單站點有效存儲硬盤數(shù):
式中:S-配置存儲硬盤數(shù)(塊);
Q-視頻存儲容量(TB);
q-單塊硬盤存儲容量(TB);
η-硬盤有效存儲空間率;
θ-云存儲空間利用率。
結(jié)合市面主流存儲設(shè)備盤位規(guī)格以及云存儲多節(jié)點切片存儲的特性,對于分布云存儲只能選擇24 盤位存儲設(shè)備。各站點考慮一定的盤位預(yù)留,每站需設(shè)置3 套24 盤位云存儲設(shè)備,每臺存儲設(shè)備配置19塊6 TB 硬盤,單站共配置57 塊6 TB 硬盤。
由于分布云存儲方案單站存儲節(jié)點設(shè)備較少,低于8 臺,可不設(shè)置云存儲管理服務(wù)器,相應(yīng)的集群管理、負載均衡、資源動態(tài)分配等功能均由存儲節(jié)點實現(xiàn)即可。
控制中心設(shè)置7 天后備存儲,根據(jù)上述計算可知在中心需配置1 臺24 盤位存儲設(shè)備,并配置5 塊6 TB 硬盤。
帶寬占用:分布云存儲方案的帶寬需求主要源于單站云存儲節(jié)點設(shè)備故障情況下,站點視頻通過傳輸網(wǎng)絡(luò)存儲至控制中心后備存儲的帶寬需求。另一部分源于控制中心遠程實時調(diào)看的帶寬需求,控制中心按最多調(diào)看30 路圖像考慮。帶寬占用最大量為:130×2+30×2=320 Mbit/s。
用電需求:目前24 盤位存儲設(shè)備電源功率約0.5 kW,故單站用電需求為1.5 kW。
機柜數(shù)量:24 盤位存儲設(shè)備占用4U 機柜空間,考慮1U 的散熱空間,單站至少需占用15U 機柜空間,需設(shè)置1 個機柜。
集中云存儲通常選擇在線路控制中心或車輛段,根據(jù)全線存儲需求,設(shè)置一套用于存儲全線視頻圖像云存儲系統(tǒng),形成全線視頻存儲資源池。該系統(tǒng)可在各車站設(shè)置一套臨時存儲設(shè)備,作為故障情況下的后備存儲。系統(tǒng)架構(gòu)如圖2 所示。
圖2 集中云存儲系統(tǒng)架構(gòu)示意圖Fig.2 Schematic diagram of centralized cloud storage system architecture
設(shè)備配置:視頻編碼標準、單路視頻碼流、主備用存儲時間、單塊硬盤容量均與分布云存儲方案一致。
根據(jù)公式(1)計算可得:
根據(jù)公式(2)計算可得:
對于集中云存儲方案,為了減少機柜的數(shù)量,可以選用高盤位數(shù)的存儲設(shè)備,本方案按72 盤位存儲設(shè)備考慮。考慮一定的盤位預(yù)留,中心需設(shè)置25 套72 盤位云存儲設(shè)備,每臺存儲設(shè)備配置72 塊6 TB 硬盤,共配置1 800 塊6 TB 硬盤。
集中云存儲方案需在控制中心設(shè)置3 臺云存儲管理服務(wù)器和1 臺云存儲運維服務(wù)器。云存儲管理服務(wù)器主要用于云存儲系統(tǒng)內(nèi)資源管理、存儲節(jié)點管理、集群管理、策略調(diào)度、運維監(jiān)控等。云存儲管理服務(wù)器采用集群部署模式,集群部署有利于實現(xiàn)節(jié)點設(shè)備資源、用戶配置、數(shù)據(jù)庫信息、策略計劃的統(tǒng)一調(diào)度,大大提升了存儲系統(tǒng)的整體性能。同時,集群部署模式下單臺設(shè)備的故障不會影響到系統(tǒng)的正常運行,也增加了系統(tǒng)的可靠性。云存儲運維服務(wù)器通過與云存儲系統(tǒng)的交互,獲取云存儲系統(tǒng)存儲資源和運行狀態(tài)等數(shù)據(jù),并對運維數(shù)據(jù)進行分類展示,可大大降低管理員對云存儲系統(tǒng)的維護難度。
各站點設(shè)置7 天后備存儲,同分布云存儲方案,需在各站點配置1 臺24 盤位存儲設(shè)備,并配置5 塊6 TB 硬盤。
帶寬占用:集中云存儲方案的帶寬需求主要源于各站點視頻實時上傳至中心存儲的帶寬需求。另一部分源于車站視頻回放調(diào)看的帶寬需求,每站按最多并發(fā)回放調(diào)看20 路圖像考慮。帶寬占用最大量為:130×2×32+20×2×32=9 600 Mbit/s ≈9.4 Gbit/s。
用電需求:72 盤位存儲設(shè)備電源功率約1.2 kW,云存儲管理或運維服務(wù)器的功率也約0.6 kW,故中心用電需求為31.8 kW。
機柜數(shù)量:72 盤位云存儲設(shè)備占用8U 機柜空間,云存儲管理或運維服務(wù)器占用2U 機柜空間,考慮一定的散熱空間、配套設(shè)備空間以及滿配存儲設(shè)備的重量,一個標準機柜(42U)最多可放置3臺云存儲設(shè)備,再考慮存儲管理服務(wù)器和運維服務(wù)器,故中心共需設(shè)置9 個標準機柜。
分組云存儲是分布云存儲和集中云存儲的折中方案,根據(jù)城市軌道交通單線多站點的特點,將5 ~8 個車站作為一組,設(shè)置一套單組云存儲系統(tǒng),用于該組內(nèi)所有車站視頻的存儲資源池。系統(tǒng)架構(gòu)如圖3所示。
圖3 分組云存儲系統(tǒng)架構(gòu)示意圖Fig.3 Schematic diagram of grouping cloud storage system architecture
設(shè)備配置:本方案將全線32 個站點分為4 組,每組站點數(shù)為8 個。
根據(jù)公式(1)計算可得:
根據(jù)公式(2)計算可得:
對于分組云存儲方案,考慮云存儲多節(jié)點切片存儲的特性及機柜空間的利用率,本方案按48 盤位存儲設(shè)備考慮??紤]一定的盤位預(yù)留,分組集中站需設(shè)置10 套48 盤位云存儲設(shè)備,每臺存儲設(shè)備配置45 塊6 TB 硬盤,共配置450 塊6 TB 硬盤。
分組云存儲方案需在分組集中站設(shè)置2 臺云存儲管理服務(wù)器。
各站點設(shè)置7 天后備存儲,同分布云存儲方案,需在各站點配置1 臺24 盤位存儲設(shè)備,并配置5 塊6 TB 硬盤。
帶寬占用:分組云存儲方案的帶寬需求主要源于組內(nèi)各站點視頻實時上傳至集中站存儲的帶寬需求。另一部分源于控制中心遠程實時調(diào)看和車站視頻回放調(diào)看的帶寬需求,中心遠程實時調(diào)看按最多30 路考慮,每站按最多并發(fā)回放調(diào)看20 路圖像考慮。帶寬占用最大量為:130×2×8+20×2×8+30×2=2 460 M b i t/s ≈2.4 Gbit/s。
用電需求:48 盤位存儲設(shè)備電源功率約0.8 kW,云存儲管理服務(wù)器的功率約0.6 kW,故分組集中站用電需求為9.2 kW。
機柜數(shù)量:48 盤位云存儲設(shè)備占用6U 機柜空間,云存儲管理服務(wù)器占用2U 機柜空間,考慮一定的散熱空間、配套設(shè)備空間以及滿配存儲設(shè)備的重量,一個標準機柜(42U)最多可放置4 臺云存儲設(shè)備,再考慮云存儲管理服務(wù)器,故分組集中站共需設(shè)置3 個標準機柜。
通過對分布云存儲、集中云存儲、分組云存儲3 種方案的對比,具體數(shù)據(jù)如表1 所示。
表1 云存儲方案數(shù)據(jù)對比表Tab. 1 Data comparison table of cloud storage scheme
通過3 種方案的數(shù)據(jù)對比,可以看出3 種方案在硬盤配置數(shù)量上相差較小,但在服務(wù)器數(shù)量、全局帶寬、功耗、機柜數(shù)量等方面還是有一定的差異。分散云存儲具有帶寬占用低、無需單獨配置存儲管理服務(wù)器等特點,但是分散云存儲方案單站資源池較小,僅3 臺存儲節(jié)點設(shè)備,無法充分體現(xiàn)云存儲切片多節(jié)點存儲的優(yōu)勢;集中云存儲方案可以很好地發(fā)揮云存儲的優(yōu)勢,但對帶寬的占用較大,同時對中心的用電、用房等需求也較大,投資也相對較高;分組云存儲方案介于上述兩種方案之間,一定程度上減輕了集中云存儲方案在帶寬、用電、用房等需求上的壓力。
隨著20 G、40 G 帶寬傳輸設(shè)備的廣泛運用,部分城市已經(jīng)開始采用100 G 傳輸設(shè)備,帶寬已不再是集中云存儲的制約因素。同時,用房、用電等需求也均可在初步設(shè)計階段做好預(yù)留。另外,單硬盤容量及存儲設(shè)備盤位數(shù)也在逐年變大,導(dǎo)致單站點所需硬盤數(shù)及設(shè)備數(shù)逐步減少,小規(guī)模云存儲難以體現(xiàn)云存儲的集群特性及性能優(yōu)勢。綜上所述,建議新建線路采用集中云存儲方案。