□ 文/周宇杰

?

高清化浪潮下的存儲(chǔ)解決之道

□ 文/周宇杰

相較IPSAN，以及其他集中存儲(chǔ)模式而言，云存儲(chǔ)的優(yōu)勢(shì)是顯而易見的。

在持續(xù)高清化發(fā)展趨勢(shì)下，720P、1080P的高清監(jiān)控前端已經(jīng)成為市場(chǎng)主流，4K高清也已躍至前臺(tái)，原來的D1、CIF逐漸成為過往云煙。

視頻監(jiān)控大聯(lián)網(wǎng)和高清化的聯(lián)合推動(dòng)使得視頻監(jiān)控系統(tǒng)的監(jiān)控點(diǎn)數(shù)目越來越多，視頻碼流越來越高，存儲(chǔ)時(shí)間則要求保持不變甚至更長(zhǎng)。相比數(shù)字標(biāo)清的時(shí)代，視頻存儲(chǔ)容量的增長(zhǎng)速度飛快，一個(gè)視頻監(jiān)控系統(tǒng)中上千TB的存儲(chǔ)規(guī)模已不再罕見。

面對(duì)平安城市等大型安防項(xiàng)目的推進(jìn)，存儲(chǔ)數(shù)據(jù)量空前、數(shù)據(jù)類型也是豐富多樣，除了監(jiān)控視頻，更有各類智能分析輸出的語(yǔ)義、截圖等一系列資源，從目前來看，云存儲(chǔ)是安防系統(tǒng)發(fā)展的必然選擇。

新技術(shù)：云存儲(chǔ)技術(shù)的發(fā)展與優(yōu)勢(shì)

隨著IT系統(tǒng)逐步云化的趨勢(shì)以及安防監(jiān)控系統(tǒng)規(guī)模的不斷擴(kuò)大，云計(jì)算技術(shù)逐步應(yīng)用到安防系統(tǒng)中，且主要集中于存儲(chǔ)系統(tǒng)。實(shí)際上，安防系統(tǒng)視頻數(shù)據(jù)量的快速膨脹以及存儲(chǔ)資源應(yīng)用的不斷豐富，傳統(tǒng)存儲(chǔ)出現(xiàn)了上述的各類問題，云存儲(chǔ)目前已經(jīng)成為眾多安防廠商的重要產(chǎn)品，且系統(tǒng)已在推廣應(yīng)用過程中得到不斷的完善，并日臻成熟。

相較IPSAN，以及上述集中存儲(chǔ)模式而言，云存儲(chǔ)的優(yōu)勢(shì)是顯而易見的，這里以科達(dá)天際云存儲(chǔ)為例：

1、云存儲(chǔ)系統(tǒng)由多臺(tái)云存儲(chǔ)設(shè)備構(gòu)成，但是提供統(tǒng)一的虛擬存儲(chǔ)空間，用戶和業(yè)務(wù)系統(tǒng)在使用云存儲(chǔ)時(shí)只感知空間，不感知節(jié)點(diǎn)，不用關(guān)心存儲(chǔ)空間由哪些存設(shè)備構(gòu)成，這些設(shè)備放在何處。所有的用戶都可以同時(shí)讀寫這個(gè)統(tǒng)一的存儲(chǔ)空間。云存儲(chǔ)提供集群化管理模式，用戶只需要登錄到云存儲(chǔ)系統(tǒng)的一個(gè)IP地址，就可以看到所有的存儲(chǔ)設(shè)備狀態(tài)、相應(yīng)的磁盤狀態(tài)以及整體存儲(chǔ)空間的使用情況。系統(tǒng)還會(huì)針對(duì)不同的異常和故障問題及時(shí)的給出告警通知和日志記錄，大大簡(jiǎn)化了管理員對(duì)存儲(chǔ)系統(tǒng)的維護(hù)和管理工作。

2、云存儲(chǔ)系統(tǒng)采用基于糾刪碼的分布式離散存儲(chǔ)策略，需要存儲(chǔ)的數(shù)據(jù)信息都被條帶化、離散化，直接拆分成多個(gè)數(shù)據(jù)塊，然后計(jì)算冗余校驗(yàn)數(shù)據(jù)塊，再分散存儲(chǔ)到不同的云存儲(chǔ)設(shè)備中，數(shù)據(jù)的分散程度和冗余程度可以通過系統(tǒng)進(jìn)行靈活設(shè)置。通過糾刪碼的冗余校驗(yàn)機(jī)制，系統(tǒng)提供數(shù)據(jù)高可靠性保護(hù)，可以允許系統(tǒng)壞多塊硬盤，甚至多個(gè)存儲(chǔ)設(shè)備節(jié)點(diǎn)而不會(huì)造成數(shù)據(jù)丟失，或者只影響和丟失很小部分的數(shù)據(jù)，其他數(shù)據(jù)的讀取不受影響，寫入則完全不受影響。此外，由于采用系統(tǒng)級(jí)離散存儲(chǔ)，多個(gè)存儲(chǔ)節(jié)點(diǎn)中都有相應(yīng)的數(shù)據(jù)塊和校驗(yàn)塊，在硬盤損壞后恢復(fù)硬盤數(shù)據(jù)時(shí)由多個(gè)存儲(chǔ)節(jié)點(diǎn)在空閑的空間內(nèi)同時(shí)進(jìn)行重構(gòu)，要比傳統(tǒng)的基于磁盤的Raid快得多，重構(gòu)速度可以達(dá)到1個(gè)小時(shí)以內(nèi)。

3、云存儲(chǔ)系統(tǒng)采用糾刪碼離散存儲(chǔ)策略，任何一段視頻都被拆分成多個(gè)數(shù)據(jù)塊分散并同時(shí)存儲(chǔ)到多個(gè)存儲(chǔ)節(jié)點(diǎn)中，因此，對(duì)該段視頻的讀取都由多臺(tái)存儲(chǔ)設(shè)備同時(shí)提供服務(wù)，避免了通過單臺(tái)設(shè)備讀取而造成的性能瓶頸。

4、云存儲(chǔ)系統(tǒng)提供統(tǒng)一存儲(chǔ)空間，統(tǒng)一命名空間，對(duì)于不同的業(yè)務(wù)系統(tǒng)，對(duì)存儲(chǔ)系統(tǒng)的訪問是一致的，這些數(shù)據(jù)在權(quán)限控制下都可以通過統(tǒng)一的命名路徑直接進(jìn)行讀取，從而提升了不同業(yè)務(wù)系統(tǒng)間數(shù)據(jù)信息的共享能力。

科達(dá)的“天際“云存儲(chǔ)，在具備以上所有安防云存儲(chǔ)特性的同時(shí)，還有幾點(diǎn)獨(dú)特之處：

1、支持BBU電池。天際云存儲(chǔ)在每個(gè)存儲(chǔ)節(jié)點(diǎn)都配備了BBU電池，當(dāng)某個(gè)存儲(chǔ)節(jié)點(diǎn)發(fā)生異常斷電時(shí)，存儲(chǔ)節(jié)點(diǎn)會(huì)及時(shí)保存緩存中的數(shù)據(jù)到磁盤，確保數(shù)據(jù)不會(huì)丟失，并同時(shí)向控制節(jié)點(diǎn)發(fā)送告警通知，由控制節(jié)點(diǎn)操作，“屏蔽”該存儲(chǔ)節(jié)點(diǎn)，將設(shè)備斷電時(shí)期的業(yè)務(wù)遷移至其他存儲(chǔ)節(jié)點(diǎn)，從而避免數(shù)據(jù)丟失。

2、支持仲裁模式，高度容錯(cuò)。天際云存儲(chǔ)支持仲裁模式，當(dāng)所有控制節(jié)點(diǎn)（元數(shù)據(jù)節(jié)點(diǎn)）全部異常時(shí)，啟動(dòng)仲裁模式，視頻存儲(chǔ)的業(yè)務(wù)不會(huì)中斷，數(shù)據(jù)不會(huì)丟失；當(dāng)控制節(jié)點(diǎn)恢復(fù)后，存儲(chǔ)節(jié)點(diǎn)會(huì)自動(dòng)同步異常期間數(shù)據(jù)信息至控制節(jié)點(diǎn)，恢復(fù)整個(gè)系統(tǒng)。

3、存儲(chǔ)內(nèi)容更多樣。與一般安防云存儲(chǔ)只支持視頻和圖片存儲(chǔ)不同，天際云存儲(chǔ)不僅可存放視頻、圖片數(shù)據(jù)，還可以存放多種類型的一般的文件數(shù)據(jù)。

4、更加標(biāo)準(zhǔn)、開放。天際云存儲(chǔ)具備多種開放的、標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù)訪問接口：支持NFS、S3、FTP等通用接口及基于SDK的專業(yè)服務(wù)接口，同時(shí)還支持HDFS接口服務(wù)，可與業(yè)界的云平臺(tái)大數(shù)據(jù)系統(tǒng)進(jìn)行對(duì)接。

云存儲(chǔ)技術(shù)補(bǔ)全不足

目前，隨著IT信息技術(shù)以及云計(jì)算技術(shù)的不斷發(fā)展，云存儲(chǔ)技術(shù)已有了很大的進(jìn)步，但仍然存在進(jìn)一步完善的空間。

1、提高可靠性與安全性。

為滿足可靠性、安全性的要求，需要云存儲(chǔ)系統(tǒng)提供更為可靠、安全的數(shù)據(jù)保護(hù)能力和訪問控制機(jī)制，特別是對(duì)于互聯(lián)網(wǎng)應(yīng)用的情況，必須能夠保證用戶的數(shù)據(jù)安全性，提供多層面的數(shù)據(jù)服務(wù)保證。

此外，由于大規(guī)模數(shù)據(jù)存儲(chǔ)對(duì)硬盤的讀寫能力要求較高，而硬盤恰恰是存儲(chǔ)系統(tǒng)中最易損壞的設(shè)備。因此，云存儲(chǔ)系統(tǒng)對(duì)硬盤的優(yōu)化讀寫以及容錯(cuò)機(jī)制，還可以進(jìn)一步優(yōu)化，充分利用硬盤的最新技術(shù)在提升數(shù)據(jù)可靠性和讀寫性能的同時(shí)，降低硬盤損壞率，減少硬盤損壞對(duì)數(shù)據(jù)和系統(tǒng)的影響。

2、數(shù)據(jù)與計(jì)算的進(jìn)一步結(jié)合

云存儲(chǔ)作為一個(gè)龐大的數(shù)據(jù)存儲(chǔ)中心，一般都由很多存儲(chǔ)節(jié)點(diǎn)組成，如果這些節(jié)點(diǎn)能夠同時(shí)具備便捷計(jì)算的能力，直接在數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)上完成數(shù)據(jù)分析工作，那么計(jì)算的過程將不需要通過前端網(wǎng)絡(luò)實(shí)現(xiàn)過多的數(shù)據(jù)存取調(diào)度業(yè)務(wù)，從而降低業(yè)務(wù)網(wǎng)絡(luò)運(yùn)輸?shù)膲毫?，也提升了總體數(shù)據(jù)分析的速度。

3、更高效的數(shù)據(jù)冗余

目前，很多云存儲(chǔ)系統(tǒng)，特別是互聯(lián)網(wǎng)上的云存儲(chǔ)系統(tǒng)，都傾向于采用多副本方式實(shí)現(xiàn)數(shù)據(jù)冗余，提升數(shù)據(jù)的可靠性，但這必然會(huì)帶來存儲(chǔ)空間使用率低下的問題；而針對(duì)大規(guī)模視頻監(jiān)控系統(tǒng)的安防云存儲(chǔ)來說，副本方式幾乎是不能接受的，建設(shè)成本太高，性價(jià)比太低。因此，必須采用更為先進(jìn)的技術(shù)，在降低數(shù)據(jù)冗余度的同時(shí)，能同時(shí)提高數(shù)據(jù)的可靠性，糾刪碼是其中一類技術(shù)，相信以后還會(huì)有更新的技術(shù)。

4、高效異地容災(zāi)技術(shù)

異地容災(zāi)技術(shù)目前還主要針對(duì)計(jì)算機(jī)業(yè)務(wù)系統(tǒng)，和輕量級(jí)的數(shù)據(jù)存儲(chǔ)（如銀行數(shù)據(jù)庫(kù)等），而像安防監(jiān)控那樣海量的數(shù)據(jù)存儲(chǔ)系統(tǒng)，真正的數(shù)據(jù)異地容災(zāi)還無法很好的實(shí)現(xiàn)，其主要的原因是安防存儲(chǔ)的數(shù)據(jù)流量太大，數(shù)據(jù)存儲(chǔ)的體量也太大，傳統(tǒng)異地容災(zāi)技術(shù)成本太高。因此，我們需要更新的技術(shù)，來實(shí)現(xiàn)此類海量安防視頻數(shù)據(jù)的異地容災(zāi)機(jī)制，提高系統(tǒng)整體的可靠性。

5、可針對(duì)特定專業(yè)用戶的專業(yè)化數(shù)據(jù)存儲(chǔ)服務(wù)定制能力

目前，針對(duì)通用市場(chǎng)的互聯(lián)網(wǎng)云存儲(chǔ)仍以單一的存儲(chǔ)服務(wù)為主，不管是互聯(lián)網(wǎng)云存儲(chǔ)或是安防云存儲(chǔ)，在專業(yè)化定制服務(wù)方面仍需加強(qiáng)，讓存儲(chǔ)系統(tǒng)與用戶的各項(xiàng)業(yè)務(wù)結(jié)合更緊密，比如針對(duì)特定業(yè)務(wù)的數(shù)據(jù)存儲(chǔ)管理優(yōu)化，提升特定業(yè)務(wù)數(shù)據(jù)存儲(chǔ)和調(diào)閱的效率；對(duì)存儲(chǔ)內(nèi)容提供更豐富的信息描述，以及數(shù)據(jù)標(biāo)簽等，充分發(fā)揮云存儲(chǔ)自身的特性的同時(shí)提升專業(yè)服務(wù)能力。

求創(chuàng)新：IPSAN存儲(chǔ)技術(shù)的進(jìn)步

從目前云存儲(chǔ)技術(shù)的發(fā)展情況來看，與IPSAN相比，現(xiàn)有云存儲(chǔ)系統(tǒng)的安全性必然比不上與互聯(lián)網(wǎng)存在物理隔絕的IPSAN存儲(chǔ)，不少行業(yè)級(jí)客戶更愿意選擇傳統(tǒng)IPSAN存儲(chǔ)。

云存儲(chǔ)前期建設(shè)成本要比IPSAN要高得多，對(duì)于某些中小型項(xiàng)目而言，建設(shè)云存儲(chǔ)未必合適。所以，IPSAN仍需自我創(chuàng)新，滿足市場(chǎng)需要。

與云存儲(chǔ)相比，IPSAN一個(gè)極大的劣勢(shì)就是隨著存儲(chǔ)數(shù)據(jù)量的不斷膨脹，數(shù)據(jù)存儲(chǔ)的可靠性越來越難保證，詳細(xì)體現(xiàn)為：

IPSAN存儲(chǔ)設(shè)備對(duì)數(shù)據(jù)的保護(hù)依賴于本機(jī)磁盤組的Raid技術(shù)。業(yè)界一般采用Raid5，能允許1塊硬盤損壞，但如果同時(shí)有2塊硬盤損壞，這個(gè)Raid組的數(shù)據(jù)就會(huì)丟失。所以，如果出現(xiàn)硬盤損壞，需要盡快更換硬盤進(jìn)行Raid重構(gòu)，恢復(fù)數(shù)據(jù)。而在數(shù)據(jù)重構(gòu)期間，如果再出現(xiàn)一塊硬盤損壞，數(shù)據(jù)就會(huì)丟失，因此Raid重構(gòu)時(shí)間越短越好。

然而，Raid重構(gòu)的時(shí)間跟硬盤容量有關(guān)系，以3T磁盤為例，按照在線修復(fù)的模式，磁盤的平均寫入速度在50MB/s左右，此時(shí)Raid5修復(fù)的時(shí)間長(zhǎng)達(dá)16個(gè)小時(shí)。實(shí)際應(yīng)用中，一般都在20個(gè)小時(shí)左右。隨著當(dāng)前的硬盤容量越來越大，3T硬盤已經(jīng)成為主流，4T也已經(jīng)普及，一些地方甚至用上了6T硬盤，這必將導(dǎo)致Raid的修復(fù)時(shí)間窗口越來越大，在這個(gè)窗口內(nèi)，第二塊盤損壞的概率也越來越大，再考慮到長(zhǎng)時(shí)間高碼率并發(fā)讀寫導(dǎo)致的硬盤故障率上升，存儲(chǔ)設(shè)備數(shù)目龐大導(dǎo)致的維護(hù)響應(yīng)時(shí)間延長(zhǎng)，視頻數(shù)據(jù)的可靠性越來越難以保證。

針對(duì)現(xiàn)有Raid技術(shù)容錯(cuò)能力有限、重構(gòu)時(shí)間長(zhǎng)等缺點(diǎn)，科達(dá)在近期推出擁有自主研發(fā)的“RaidX”存儲(chǔ)技術(shù)的VS200G（L）系列IPSAN，有望解決IPSAN發(fā)展中可靠性的問題，其主要特點(diǎn)為：

1.永不癱瘓：使用傳統(tǒng)Raid5，壞2塊盤，Raid整個(gè)癱瘓，剩余硬盤數(shù)據(jù)取出也很困難。而應(yīng)用RaidX，即便磁陣中只剩下1塊硬盤，依然可以讀寫；剩余因公安上的數(shù)據(jù)輕松讀取。

2.持續(xù)保護(hù)：使用傳統(tǒng)Raid5，一有盤壞，后寫數(shù)據(jù)無保護(hù)，再發(fā)生故障數(shù)據(jù)了丟失風(fēng)險(xiǎn)高。而應(yīng)用RaidX，即使掉盤，后續(xù)寫入的數(shù)據(jù)也會(huì)具備容錯(cuò)功能，不用擔(dān)心磁盤掉線導(dǎo)致數(shù)據(jù)安全性風(fēng)險(xiǎn)。

3.維護(hù)方便：傳統(tǒng)存儲(chǔ)陣列數(shù)據(jù)重建，必須更換壞盤才能開始重建，維護(hù)起來很麻煩；而應(yīng)用RaidX，可以先恢復(fù)數(shù)據(jù)，再更換硬盤；重建過程中直接重建到空閑空間，動(dòng)態(tài)調(diào)整重建速度不降低讀寫性能。

4.直接增減：使用傳統(tǒng)Raid陣列，無法在使用途中更換硬盤，想擴(kuò)展或縮減都要重建數(shù)據(jù)；而RaidX支持動(dòng)態(tài)擴(kuò)展和縮減容量，縮減過程無需配置，直接拔出磁盤即可（縮減的硬盤需要有空閑空間）。

結(jié)束語(yǔ)

技術(shù)服務(wù)于應(yīng)用。面對(duì)高清/超高清浪潮襲來，無論是云存儲(chǔ)或傳統(tǒng)IPSAN，亦或是其他安防存儲(chǔ)技術(shù)，在經(jīng)過海量監(jiān)控項(xiàng)目的實(shí)踐與考驗(yàn)后，都將日益貼合各自的適用市場(chǎng)，市場(chǎng)特性、使用針對(duì)性越來越強(qiáng)，且越來越貼近實(shí)際項(xiàng)目應(yīng)用需求。

作者單位：蘇州科達(dá)科技股份有限公司