謝崑 尹紅兵

摘 要：隨著視頻監(jiān)控業(yè)務(wù)數(shù)據(jù)的快速增長，視頻以及圖像存儲(chǔ)的規(guī)模也變得越來越大，在人像識(shí)別等建設(shè)項(xiàng)目中其規(guī)模達(dá)到PB （1024TB）級(jí)別，傳統(tǒng)存儲(chǔ)設(shè)備根本無法滿足各類視頻業(yè)務(wù)需求，云存儲(chǔ)能夠通過管理軟件協(xié)調(diào)和調(diào)度相關(guān)的存儲(chǔ)設(shè)備，將不同種類的存儲(chǔ)設(shè)備組織起來工作。

關(guān)鍵字：云存儲(chǔ);大數(shù)據(jù);分布式集群

1.引言

前端設(shè)備的不斷增加，使得視頻存儲(chǔ)數(shù)據(jù)的不斷擴(kuò)大，對(duì)存儲(chǔ)容量的要求不斷增加，記錄的數(shù)據(jù)變得越來越大，需要配備更多的存儲(chǔ)設(shè)備。新配備的存儲(chǔ)資源在調(diào)度的過程中，要保證在運(yùn)行的業(yè)務(wù)不能中斷，同時(shí)要求快速接管新的業(yè)務(wù)數(shù)據(jù)，只有云存儲(chǔ)系統(tǒng)才能滿足大規(guī)模視頻存儲(chǔ)設(shè)備的需求。

2.現(xiàn)狀與需求

海量數(shù)據(jù)不僅體現(xiàn)在數(shù)據(jù)量大，還體現(xiàn)在數(shù)據(jù)種類多，需要針對(duì)非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)的特征，提供相應(yīng)的存儲(chǔ)解決方案（流式存儲(chǔ)、對(duì)象存儲(chǔ)、塊存儲(chǔ)等），實(shí)現(xiàn)不同數(shù)據(jù)的高效存儲(chǔ)和讀取。

系統(tǒng)要求支持多路高清視頻實(shí)時(shí)結(jié)構(gòu)化分析，提取視頻中人、車等特征屬性，可根據(jù)特征屬性快速檢索并定位視頻。

系統(tǒng)支持對(duì)所有車輛卡口、電警、人臉卡口等采集的圖片進(jìn)行二次分析及圖片建模。

2.1云存儲(chǔ) 的 應(yīng) 用 現(xiàn) 狀

云存儲(chǔ)市場(chǎng)規(guī)模的不斷增長，各大監(jiān)控廠商也紛紛推出自有的云存儲(chǔ)產(chǎn)品線。未來，隨著監(jiān)控?cái)?shù)據(jù)的不斷增長，對(duì)大容量、低成本、高效的云存儲(chǔ)需求也會(huì)持續(xù)增長，2026年全球云存儲(chǔ)市場(chǎng)規(guī)模有望接近1700億美元。

2.2云存儲(chǔ) 的 應(yīng) 用 需 求

2.2.1圖像云存儲(chǔ)

圖像云存儲(chǔ)是提供高容量、高安全性、性能穩(wěn)定的圖片存儲(chǔ)空間與功能，適用于卡口服務(wù)器、抓拍機(jī)、圖片服務(wù)器等采集的圖片數(shù)據(jù)的直寫存儲(chǔ)場(chǎng)景。圖片存儲(chǔ)服務(wù)同時(shí)也支持為第三方視頻應(yīng)用提供圖片存儲(chǔ)和處理能力，支持通過標(biāo)準(zhǔn)接口與第三方的應(yīng)用和平臺(tái)對(duì)接，第三方的應(yīng)用包括但不限于視頻監(jiān)管平臺(tái)、運(yùn)維平臺(tái)、智能分析平臺(tái)等。

2.2.2視頻云存儲(chǔ)

視頻存儲(chǔ)服務(wù)是提供高容量、高安全性、性能穩(wěn)定的視頻存儲(chǔ)空間與功能，采用標(biāo)準(zhǔn)的信息傳輸控制協(xié)議、傳輸控制流程和協(xié)議接口，支持監(jiān)控前端視頻流直寫存儲(chǔ)方式和專有的視頻數(shù)據(jù)管理結(jié)構(gòu)，解決了視頻存儲(chǔ)的循環(huán)覆蓋特性帶來的文件碎片問題，提升用戶體驗(yàn)。

2.2.3對(duì)象存儲(chǔ)

對(duì)象存儲(chǔ)服務(wù)是提供高容量、高安全性、性能穩(wěn)定的文件存儲(chǔ)空間與功能，適用于海量文件的存儲(chǔ)場(chǎng)景。用戶無需事先規(guī)劃存儲(chǔ)容量 ，存儲(chǔ)資源支持線性擴(kuò)展，輕松應(yīng)對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)。

2.2.4云存儲(chǔ)新技術(shù)的應(yīng)用

云存儲(chǔ)采用分布式集群架構(gòu)設(shè)計(jì)，具有容量大成本低、擴(kuò)展靈活、數(shù)據(jù)可靠、管理方便、調(diào)用連接簡(jiǎn)單等特點(diǎn)。

2.3云存儲(chǔ)技術(shù)優(yōu)勢(shì)

2.3.1容量大成本低

云存儲(chǔ)系統(tǒng)可以提供超大容量儲(chǔ)存空間，多個(gè)存儲(chǔ)節(jié)點(diǎn)可以輕易提供超過百PB的存儲(chǔ)容量。

由多個(gè)存儲(chǔ)節(jié)點(diǎn)組成云存儲(chǔ)系統(tǒng)成本，遠(yuǎn)低于傳統(tǒng)存儲(chǔ)架構(gòu)，并且具有良好的可擴(kuò)充性和靈活性。

2.3.2擴(kuò)展靈活

存儲(chǔ)資源可以輕易擴(kuò)展，擴(kuò)展切換時(shí)間短，用戶管理效率高;

支持存儲(chǔ)容量的平滑變化，可以自動(dòng)識(shí)別增加的存儲(chǔ)設(shè)備;虛擬磁盤大小可以調(diào)整，根據(jù)客戶的需求靈活適配。

2.3.3數(shù)據(jù)可靠

系統(tǒng)采用分布式文件存儲(chǔ)方式，儲(chǔ)存數(shù)據(jù)被復(fù)制成多個(gè)副本，分別存放在不同的存儲(chǔ)節(jié)點(diǎn)不同的磁盤上，這一特性使得分布式存儲(chǔ)系統(tǒng)的可靠性更高。

2.3.4管理簡(jiǎn)便

管理維護(hù)高效方便。系統(tǒng)管理員可以通過集群內(nèi)任意節(jié)點(diǎn)訪問管理，實(shí)現(xiàn)對(duì)存儲(chǔ)節(jié)點(diǎn)CPU、內(nèi)存、系統(tǒng)軟件，存儲(chǔ)集群和系統(tǒng)提供業(yè)務(wù)進(jìn)行管理。單個(gè)節(jié)點(diǎn)失效不會(huì)影響系統(tǒng)管理員的正常登錄和使用。

2.3.5調(diào)用連接簡(jiǎn)單

采用標(biāo)準(zhǔn)的網(wǎng)絡(luò)接口，支持主流的文件與數(shù)據(jù)傳輸訪問協(xié)議（NFS和CIFS等），視頻監(jiān)控系統(tǒng)平臺(tái)可以直接調(diào)用。

3.建設(shè)思路和技術(shù)方案

3.1建設(shè)思路

云存儲(chǔ)是基于云計(jì)算架構(gòu)，采用了大數(shù)據(jù)、虛擬化等先進(jìn)技術(shù)，集中統(tǒng)一建設(shè)的云服務(wù)中心。云存儲(chǔ)主要面向視頻專網(wǎng)，為用戶提供專業(yè)化的視頻類服務(wù)、通用云計(jì)算服務(wù)及大數(shù)據(jù)計(jì)算服務(wù)。

3.1.1云計(jì)算架構(gòu)

綜合運(yùn)用虛擬化、分布式、大數(shù)據(jù)等技術(shù)，構(gòu)建X86計(jì)算資源池、存儲(chǔ)資源池，實(shí)現(xiàn)資源可控、彈性運(yùn)用。同時(shí)基于多租戶技術(shù)，通過對(duì)物理或虛擬資源的分配保證多個(gè)用戶以及他們的計(jì)算和數(shù)據(jù)彼此隔離和不可訪問。用戶可按需使用資源，能夠方便快捷地申請(qǐng)?jiān)瀑Y源或釋放云資源。

3.1.2前端設(shè)備科學(xué)接入

云存儲(chǔ)具備高效的視頻系統(tǒng)接入能力及融合開放特性。首先，具備百萬級(jí)別的設(shè)備接入能力，接入網(wǎng)關(guān)集群化，不存在單點(diǎn)故障;其次，具備多廠家、多協(xié)議、多類型設(shè)備接入，包括各類視頻設(shè)備（如模擬攝像機(jī)、數(shù)字?jǐn)z像機(jī)、網(wǎng)絡(luò)攝像機(jī)、DVR等）、卡口抓拍設(shè)備（如車輛卡口、電警、人臉卡口），同時(shí)兼容國標(biāo)平臺(tái)的無縫接入。

3.2技術(shù)方案

3.2.1系統(tǒng)架構(gòu)圖

云存儲(chǔ)系統(tǒng)是由多個(gè)存儲(chǔ)節(jié)點(diǎn)和存儲(chǔ)網(wǎng)絡(luò)組成。管理服務(wù)器通過管理網(wǎng)絡(luò)可以實(shí)現(xiàn)對(duì)系統(tǒng)包括設(shè)備管理，集群狀態(tài)，節(jié)點(diǎn)狀態(tài)，告警管理等功能管理;每個(gè)存儲(chǔ)節(jié)點(diǎn)具有自己獨(dú)立的處理器、內(nèi)存、網(wǎng)絡(luò)接口和軟件管理系統(tǒng)，當(dāng)存儲(chǔ)節(jié)點(diǎn)發(fā)生改變時(shí)可以很方便的進(jìn)行調(diào)整，例如增加或者刪減容量的時(shí)候，存儲(chǔ)節(jié)點(diǎn)可以按照比例調(diào)整內(nèi)存大小、處理能力、磁盤空間和網(wǎng)絡(luò)連接，以保證系統(tǒng)正常運(yùn)行。云存儲(chǔ)系統(tǒng)儲(chǔ)物理設(shè)計(jì)結(jié)構(gòu)如下圖所示：

系統(tǒng)結(jié)構(gòu)圖

云存儲(chǔ)系統(tǒng)系統(tǒng)采用多臺(tái)存儲(chǔ)節(jié)點(diǎn)形成集群工作的方式提供存儲(chǔ)訪問服務(wù)，集群中的每一個(gè)存儲(chǔ)節(jié)點(diǎn)設(shè)備都可以提供內(nèi)容訪問讀寫服務(wù)，對(duì)外可視為一個(gè)存儲(chǔ)整體，單存儲(chǔ)節(jié)點(diǎn)或存儲(chǔ)節(jié)點(diǎn)中的某個(gè)介質(zhì)失效不會(huì)導(dǎo)致全局失效的問題，同時(shí)新擴(kuò)容節(jié)點(diǎn)或存儲(chǔ)節(jié)點(diǎn)中的介質(zhì)增減對(duì)整體運(yùn)行無影響。

3.2.2功能設(shè)計(jì)

云存儲(chǔ)系統(tǒng)由以下 4層組成。

（1）、存儲(chǔ)層

存儲(chǔ)層是云存儲(chǔ)用于內(nèi)容存儲(chǔ)的部分由多個(gè)存儲(chǔ)節(jié)點(diǎn)組成，節(jié)點(diǎn)存儲(chǔ)設(shè)備選取的是提供 NAS 接口，支持 NFS 和 CIFS 協(xié)議共享的存儲(chǔ)設(shè)備。

（2）、基礎(chǔ)管理層：

基礎(chǔ)管理層是云存儲(chǔ)最重要的部分，作用是部署分布式文件系統(tǒng)或建立和組織存儲(chǔ)資源對(duì)象。集群中每個(gè)節(jié)點(diǎn)都具有獨(dú)立基礎(chǔ)管理能力，可獨(dú)立完成節(jié)點(diǎn)管理工作，通過集群，多個(gè)的節(jié)點(diǎn)存儲(chǔ)設(shè)備可以共同對(duì)外服務(wù)，具有極好的數(shù)據(jù)訪問性能。

節(jié)點(diǎn)主要針對(duì) NAS 存儲(chǔ)，支持配額管理、分級(jí)存儲(chǔ)、快照、WORM、異步遠(yuǎn)程復(fù)制等增值特性;針對(duì)對(duì)象存儲(chǔ)，支持重刪、 多租戶和傳輸加密。

（3）、應(yīng)用接口層：

應(yīng)用接口層是面向使用方的部分，云存儲(chǔ)要根據(jù)使用方實(shí)際業(yè)務(wù)需求，開發(fā)出不同的應(yīng)用服務(wù)接口，在視頻監(jiān)控項(xiàng)目中主要是提供視頻監(jiān)控平臺(tái)的調(diào)用服務(wù)，其主要類型覆蓋網(wǎng)絡(luò)接口和部分API調(diào)用。

（4）、訪問層：

通過網(wǎng)絡(luò)接入，授權(quán)的用戶都可以直接登錄云存儲(chǔ)系統(tǒng)，以文件服務(wù)的形式直接使用云存儲(chǔ)服務(wù)。

4.結(jié)語

未來安防將實(shí)現(xiàn)大數(shù)據(jù)化、應(yīng)用云端化，云存儲(chǔ)作為視頻監(jiān)控大數(shù)據(jù)的重要支撐還有很多可以進(jìn)步和優(yōu)化的空間。如何更好地同安防系統(tǒng)相配合，為視頻大數(shù)據(jù)發(fā)揮更高效靈活的價(jià)值也需要繼續(xù)深度挖掘。

參考文獻(xiàn)

劉洋《云存儲(chǔ)技術(shù)：分析與實(shí)踐》出版社： 經(jīng)濟(jì)管理出版社

朱曉彥 顧旭峰《云存儲(chǔ)技術(shù)與應(yīng)用》出版社： 高等教育出版社

武春嶺 《云存儲(chǔ)技術(shù)與應(yīng)用》出版社： 電子工業(yè)出版社