程海濤 薛虎
【摘要】當(dāng)今世界的各行各業(yè)越來越依賴于計算機(jī)及網(wǎng)絡(luò)技術(shù),尤其是在“平安城市”的建設(shè)中,如何更好的存儲和處理大數(shù)據(jù)的圖像和信息,對現(xiàn)有技術(shù)提出了一個很大的考驗(yàn),而云技術(shù)的產(chǎn)生對大數(shù)據(jù)量的處理和分析,提供了最有利的保障,特別是大數(shù)量的存儲方面。本文結(jié)合“平安城市”建設(shè)規(guī)范和要求,對“平安城市”中的云技術(shù)尤其是云存儲方面進(jìn)行探討。
【關(guān)鍵詞】平安城市;云技術(shù)
1.前言
隨著社會的發(fā)展和科技的進(jìn)步,原始紙質(zhì)和磁帶式單一的存取介質(zhì)已很難滿足人們大量信息數(shù)據(jù)的存取需求,特別是計算機(jī)和網(wǎng)絡(luò)的飛速發(fā)展,人們對信息數(shù)據(jù)存取要求越來越高,尤其是在安防視頻監(jiān)控系統(tǒng)中日漸突出。
“平安城市”是建立在新一代信息技術(shù)支撐下的城市形態(tài),通過信息和通信技術(shù)的應(yīng)用,提升城市的管理水平,提高市民的生活質(zhì)量,令城市運(yùn)行和市民生活更加智能。而視頻監(jiān)控系統(tǒng)的高清化,已經(jīng)成為一個不可阻擋的趨勢,這對視頻監(jiān)控的大量存儲提出了更高的要求,因此存儲系統(tǒng)也會逐步趨向于穩(wěn)定性、集中化管理、分布式存儲的方向,未來需要高密度、高性能、更加迎合應(yīng)用、定制化強(qiáng)、易于運(yùn)維的存儲解決方案,云存儲的技術(shù)正好解決了這一難題。
云存儲的發(fā)展有利于推動各種視頻監(jiān)控資源在云中融合,在安防領(lǐng)域,視頻監(jiān)控不能單獨(dú)成為一個獨(dú)立于其他安防措施的系統(tǒng),它應(yīng)當(dāng)和警務(wù)督察系統(tǒng)、110報警系統(tǒng)、道路監(jiān)控系統(tǒng)、車輛管理系統(tǒng)、人口稽查系統(tǒng)、GPS可視化系統(tǒng)等等多種安全防護(hù)系統(tǒng)聯(lián)動,最終成為一套成熟的安全防護(hù)系統(tǒng)。而這些系統(tǒng)如果真正實(shí)現(xiàn)融合,資源共享就離不開云存儲。
存儲云是視頻云節(jié)點(diǎn)中內(nèi)部運(yùn)行云存儲核心服務(wù),它是一套運(yùn)行可靠的分布式協(xié)調(diào)系統(tǒng),實(shí)現(xiàn)節(jié)點(diǎn)間控制、節(jié)點(diǎn)選舉、狀態(tài)偵測、分布式同步、配置維護(hù)、名字服務(wù)、群組服務(wù)、業(yè)務(wù)調(diào)度等云化集群服務(wù)。視頻云節(jié)點(diǎn)中的前端接入服務(wù)、媒體服務(wù)、管理服務(wù)等各個功能模塊能夠?qū)崿F(xiàn)視頻監(jiān)控業(yè)務(wù)SAAS云平臺。存儲云監(jiān)控平臺采用N+0熱互備的云化集群模式,以業(yè)界領(lǐng)先的高性能存儲為依托,不需要購置額外的機(jī)器,N臺機(jī)器自己互備。
2.存儲云方案
采用集成視頻監(jiān)控系統(tǒng)軟件的網(wǎng)絡(luò)視頻存儲,基于云計算技術(shù),組成網(wǎng)絡(luò)視頻云存儲系統(tǒng)。系統(tǒng)不需要獨(dú)立服務(wù)器,采用統(tǒng)一規(guī)格的云存儲單元構(gòu)建。
圖1 存儲云整體架構(gòu)
存儲云總設(shè)計:
系統(tǒng)不需要獨(dú)立服務(wù)器,采用統(tǒng)一規(guī)格的云存儲單元構(gòu)建。其網(wǎng)絡(luò)架構(gòu)圖如圖1所示。
存儲云主要部署在各個派出所,每個派出所構(gòu)成存儲云,提供云存儲服務(wù)視頻云存儲節(jié)點(diǎn)系統(tǒng)可啟用云化集群工作模式進(jìn)行高可用保護(hù),保證單臺視頻云存儲節(jié)點(diǎn)設(shè)備宕機(jī)的情況下,迅速由其它視頻云存儲節(jié)點(diǎn)設(shè)備接管它的工作。
在啟用云化集群功能后,集群內(nèi)的視頻云存儲節(jié)點(diǎn)設(shè)備可以提供負(fù)載均衡服務(wù)。所有的寫壓力將會自動的分擔(dān)到所有的視頻云存儲節(jié)點(diǎn)設(shè)備上。集群會定期收集各視頻云存儲節(jié)點(diǎn)成員的狀態(tài)和負(fù)載情況,若發(fā)現(xiàn)負(fù)載嚴(yán)重失衡時,將及時進(jìn)行調(diào)整。當(dāng)新的業(yè)務(wù)到來時、故障機(jī)器上的業(yè)務(wù)轉(zhuǎn)移時,存儲云會智能地選擇出最優(yōu)的負(fù)載分配策略,在保證每臺機(jī)器承擔(dān)的業(yè)務(wù)負(fù)載不超過其能力極限的同時,盡量令各臺機(jī)器的業(yè)務(wù)壓力平均。
調(diào)度算法同時根據(jù)每臺成員的軟硬件配置,智能分配業(yè)務(wù)壓力,配置好的機(jī)器會承擔(dān)更多的業(yè)務(wù)壓力。
負(fù)載均衡技術(shù)使得各視頻云存儲節(jié)點(diǎn)設(shè)備的性能、設(shè)備生命、節(jié)能等指標(biāo)均達(dá)到最優(yōu)。
3.存儲云實(shí)現(xiàn)機(jī)制
3.1 實(shí)現(xiàn)機(jī)制總體描述
前端采集的視頻流直接存儲視頻入網(wǎng)絡(luò)視頻云存儲系統(tǒng),同時按需轉(zhuǎn)發(fā)實(shí)時視頻流到授權(quán)客戶端和電視墻系統(tǒng)。
平臺管理系統(tǒng)對網(wǎng)絡(luò)視頻云存儲系統(tǒng)進(jìn)行統(tǒng)一配置和管理,在派出所與分局網(wǎng)絡(luò)中斷或者管理服務(wù)器宕機(jī)的情況下網(wǎng)絡(luò)視頻存儲系統(tǒng)能夠獨(dú)立運(yùn)行,不影響派出所操作人員對前端視頻的實(shí)時監(jiān)控、圖像存儲和歷史圖像檢索回放。
網(wǎng)絡(luò)視頻云存儲系統(tǒng)可以通過單一窗口實(shí)現(xiàn)共同配置、維護(hù)和管理,并需提供開放的集成接口(SDK、API等),便于第三方集成軟件實(shí)現(xiàn)異構(gòu)存儲設(shè)備的集中運(yùn)行監(jiān)控和維護(hù)。
圖2 存儲云管理機(jī)制示意圖
3.2 存儲系統(tǒng)的管理調(diào)度
在市局部署M臺設(shè)備用于整個存儲云設(shè)備的管理調(diào)度。在每個派出所中,基礎(chǔ)存儲單元數(shù)量小于或等于N臺時,設(shè)置一個主存儲節(jié)點(diǎn),用于對該派出所內(nèi)存儲設(shè)備的管理和調(diào)度,此時此臺存儲設(shè)備不僅能夠?qū)崿F(xiàn)管理功能還可以當(dāng)做存儲設(shè)備使用;當(dāng)排除所存儲設(shè)備數(shù)量大于N臺時,如果依然讓單臺存儲設(shè)備既做管理又做存儲,會使其受到影響,故需單獨(dú)增加一臺管理設(shè)備,用于專門對該派出所內(nèi)存儲設(shè)備的管理和調(diào)度使用。具體的圖示如圖2所示
可以將每個派出所看做一個域,在這個域內(nèi)實(shí)現(xiàn)云存儲。在啟用云存儲功能后,域內(nèi)的視頻云存儲節(jié)點(diǎn)設(shè)備可以提供負(fù)載均衡服務(wù)。在視頻云存儲節(jié)點(diǎn)內(nèi)部,多個RAID組之間,當(dāng)某個RAID組工作壓力較大時,節(jié)點(diǎn)設(shè)備可分配若干數(shù)據(jù)流到另一較輕松的RAID組中,實(shí)現(xiàn)RAID組級負(fù)載均衡。負(fù)載均衡技術(shù)使得各視頻云存儲節(jié)點(diǎn)設(shè)備的性能、設(shè)備生命、節(jié)能等指標(biāo)均達(dá)到最優(yōu)。
當(dāng)有一路視頻圖像需要存儲的時候,域主節(jié)點(diǎn)會自動對其管轄范圍內(nèi)的云存儲節(jié)點(diǎn)成員的狀態(tài)和負(fù)載情況進(jìn)行查看,調(diào)度到綜合負(fù)載最小的存儲設(shè)備上進(jìn)行存儲,之后此路視頻都會按照這一路徑位置對視頻進(jìn)行存儲。
當(dāng)存儲設(shè)備中RAID組中磁盤損壞時,熱備磁盤將啟用,并且該RAID組將利用剩下磁盤中的數(shù)據(jù)及相應(yīng)的奇偶校驗(yàn)信息將損壞的數(shù)據(jù)進(jìn)行恢復(fù)。
當(dāng)存儲云中其中一臺存儲設(shè)備不可用,云中的域主節(jié)點(diǎn)會跟根據(jù)當(dāng)前其他存儲設(shè)備負(fù)載情況,把前端暫時遷移到其他存儲設(shè)備上。等原有存儲設(shè)備恢復(fù)上線后,前端在回遷到原有存儲上。
每個派出所會設(shè)置兩個域主節(jié)點(diǎn),一主一備,當(dāng)域主節(jié)點(diǎn)出現(xiàn)故障時,備份的域主節(jié)點(diǎn)會啟動管理調(diào)度功能對本域內(nèi)的云存儲節(jié)點(diǎn)進(jìn)行管理。
4.總結(jié)
云存儲不是存儲,而是服務(wù)就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣,云存儲對使用者來講,不是指某一個具體的設(shè)備,而是指一個由許許多多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲,并不是使用某一個存儲設(shè)備,而是使用整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù),云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合,通過應(yīng)用軟件來實(shí)現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變,通過對存儲的云化,對平安城市中大量數(shù)據(jù)的存儲和應(yīng)用提供了保障,云存儲已經(jīng)成為未來存儲發(fā)展的一種趨勢。