汪 同 葉有名

（1.國網(wǎng)四川省電力公司信息通信公司，成都 610041；2.國網(wǎng)四川省電力公司，成都 610041）

隨著科技的不斷進(jìn)步，在物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等發(fā)展的推動下，數(shù)據(jù)發(fā)生了“大爆炸”[1]。在巨大的需求推動下，存儲網(wǎng)技術(shù)、存儲系統(tǒng)架構(gòu)、數(shù)據(jù)保護(hù)技術(shù)等方面得到一系列重大進(jìn)展。電力企業(yè)的數(shù)據(jù)也已告別以往數(shù)據(jù)類型較為單一、增長較為緩慢的時代[2]，隨著智能變電站、輸變電線路、營銷營業(yè)廳所的大規(guī)模建設(shè)，數(shù)據(jù)量以幾何級增長的速度在增長（由TB 級向PB 級轉(zhuǎn)變），數(shù)據(jù)來源更加復(fù)雜和多樣（結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化）。

目前，四川電網(wǎng)接入變電站1300 個，營業(yè)廳800 個，調(diào)度、信息、通信機(jī)房300 個，輸電線路100 余條，接入2 萬多個IP 攝像頭、2000 多個視頻處理單元、各類感知信息的傳感器4 萬多個。圖像監(jiān)視、安全警衛(wèi)、火災(zāi)報警、主變壓器消防、給排水、采暖通風(fēng)、門禁、通信電源、動力環(huán)境監(jiān)視等輔助生產(chǎn)系統(tǒng)以及設(shè)備狀態(tài)、開關(guān)狀態(tài)等在線監(jiān)測設(shè)備等各種異構(gòu)信息的存儲處理成為亟待解決的問題。

1 網(wǎng)絡(luò)數(shù)據(jù)存儲現(xiàn)狀及存在問題

網(wǎng)絡(luò)存儲技術(shù)主要是網(wǎng)絡(luò)附屬存儲（Network Attached Storage，NAS）和存儲區(qū)域網(wǎng)（Storage Area Network，SAN）兩種架構(gòu)[3]。IP SAN 是基于IP 網(wǎng)絡(luò)的存儲解決方案，通過存儲協(xié)議iSCSI 提供了在IP 網(wǎng)絡(luò)上封裝塊級請求的方法，IP SAN 不但提供了較高的系統(tǒng)傳輸速度，而且可以進(jìn)行長距離的全局?jǐn)?shù)據(jù)存儲。

分布式文件系統(tǒng)（Distributed File System）將來自客戶端的數(shù)據(jù)操作請求分布在集群中的計算機(jī)結(jié)點上進(jìn)行處理[4]，現(xiàn)有的監(jiān)控存儲領(lǐng)域，解決方案大多基于文件系統(tǒng)實現(xiàn)。

在電力系統(tǒng)領(lǐng)域中，海量數(shù)據(jù)主要是以大量原始音視頻圖片等多媒體數(shù)據(jù)和傳感器感知、系統(tǒng)設(shè)備、運行狀態(tài)等數(shù)據(jù)組成。原始音視頻圖片存儲量大，訪問頻率小，且主要以檢索回放、備份存儲為主；而信息數(shù)據(jù)存儲空間小，訪問頻率高，實時性高，以報表或查看為主。由于文件系統(tǒng)考慮的是滿足通用的存儲需求，所以結(jié)構(gòu)復(fù)雜，針對電力行業(yè)的實際需求，現(xiàn)有文件系統(tǒng)及存儲技術(shù)存在以下不足：

1）空間利用率低：由于監(jiān)控業(yè)務(wù)的并發(fā)突發(fā)、以及視頻大文件多，圖片小文件多等特點，傳統(tǒng)通用的文件系統(tǒng)不適合安防監(jiān)控業(yè)務(wù)，造成磁盤的碎片過多，累積導(dǎo)致空間利用率不高。

2）分布式檢索效率不高：存儲系統(tǒng)內(nèi)的文件數(shù)量增長到數(shù)千萬以上時，文件的檢索查找等操作將會給文件系統(tǒng)帶來巨大的壓力，特別是一個目錄下面存放的文件超過一定數(shù)量甚至?xí)斐晌募檎倚始眲∠陆怠?/p>

3）數(shù)據(jù)安全性不足：傳統(tǒng)的文件系統(tǒng)索引區(qū)集中在一起，在大量的寫文件操作時，造成索引區(qū)為訪問熱區(qū)，造成壞盤，故數(shù)據(jù)的穩(wěn)定性、可靠性、容錯性等均需要針對安防監(jiān)控的業(yè)務(wù)特點進(jìn)行優(yōu)化和提高。

4）存儲技術(shù)的融合不夠：在局域網(wǎng)環(huán)境中，NAS 技術(shù)可以完全實現(xiàn)異構(gòu)平臺之間的文件級共享，這是NAS 一個明顯優(yōu)于SAN 的特點[5]。但是，目前通用的主機(jī)或分布式文件系統(tǒng)以及一般的安防監(jiān)控類專用文件系統(tǒng)都沒考慮存儲融合問題。如何在一個文件系統(tǒng)中將SAN 和NAS 結(jié)合在一起進(jìn)行存儲，更好的擴(kuò)展系統(tǒng)的存儲特性，就是需要解決的問題。

2 一種適合電力海量數(shù)據(jù)存儲的全分布式 塊文件系統(tǒng)架構(gòu)

對于目前主流的本地或分布式文件系統(tǒng)來說，還沒有一種適合電力海量數(shù)據(jù)存儲系統(tǒng)的文件系統(tǒng)，無法同時滿足穩(wěn)定、海量文件集中式管理、對海量圖片小文件的磁盤利用率高、能夠進(jìn)行海量視頻文件按照存儲時間快速檢索與回放、與元數(shù)據(jù)分離等要求。

為了解決上述問題，設(shè)計并實現(xiàn)了一種適合電力海量異構(gòu)數(shù)據(jù)的全分布式塊文件系統(tǒng)（UniMAS）。該塊文件系統(tǒng)架構(gòu)既可以作為NAS 的文件系統(tǒng)，與NAS 結(jié)合進(jìn)行存儲，也可以使用iSCSI 直接進(jìn)行塊文件網(wǎng)絡(luò)存儲。本系統(tǒng)服務(wù)器客戶端、元數(shù)據(jù)服務(wù)器集群、智能存儲集群三大部分組成。

圖1 系統(tǒng)架構(gòu)組網(wǎng)圖

元數(shù)據(jù)集群由兩臺以上專用服務(wù)器組成，管理數(shù)據(jù)中心的文件系統(tǒng)的元數(shù)據(jù)（包括文件目錄樹組織、屬性維護(hù)、文件操作日志記錄、授權(quán)訪問、檢索映射等），管理整個存儲系統(tǒng)的命名空間，對服務(wù)器客戶端提供單一的系統(tǒng)映像。

智能存儲集群由3 臺以上專用存儲服務(wù)器（深藍(lán)色的DataNode 節(jié)點）組成，是實際存儲數(shù)據(jù)的單元，是UniMAS 的存儲資源提供者。服務(wù)器客戶端安裝于用戶需要使用存儲資源的應(yīng)用服務(wù)器，提供標(biāo)準(zhǔn)的POSIX 接口，對UniMAS 的存儲資源進(jìn)行讀寫訪問。

UniMAS 的所有元數(shù)據(jù)服務(wù)器同時在線提供服務(wù)，并且每兩臺元數(shù)據(jù)服務(wù)器為一組，每組元數(shù)據(jù)服務(wù)器內(nèi)部相互之間會進(jìn)行交叉?zhèn)浞荩ＷC一組內(nèi)，任何一個元數(shù)據(jù)出現(xiàn)問題，另一臺元數(shù)據(jù)也擁有這組元數(shù)據(jù)服務(wù)器的完整數(shù)據(jù)，并且接管服務(wù)，不中斷業(yè)務(wù)。

3 UniMAS 的本地塊文件存儲方案

該塊文件系統(tǒng)采用全分布式架構(gòu)，采用管理服務(wù)器和存儲服務(wù)器分離的架構(gòu)，將元數(shù)據(jù)（目錄等）和存儲數(shù)據(jù)分離；在專用存儲服務(wù)器上采用高效的塊文件存儲方案，將元數(shù)據(jù)（數(shù)據(jù)塊位圖）與安防原始文件分離并分散在整個磁盤陣列上。與現(xiàn)有分布式通用文件系統(tǒng)相比，不僅徹底避免了本地文件系統(tǒng)的訪問熱區(qū)，避免文件系統(tǒng)鎖死或出現(xiàn)一些壞塊，增強(qiáng)數(shù)據(jù)可靠性，同時簡化了文件讀寫的操作步驟和層次，提高讀寫效率。UniMAS 的本地塊文件實際存儲格式為如圖2所示。

圖2 元數(shù)據(jù)冗余流

圖3 UniMAS 塊文件存儲格式

系統(tǒng)塊文件格式包括三大部分，第一部分是格式化信息，描述格式化完成后索引區(qū)的目錄索引個數(shù)以及數(shù)據(jù)區(qū)Slice 個數(shù)等信息，即格式化后不變信息。第二部分是索引信息區(qū)域，描述數(shù)據(jù)區(qū)空間的使用情況以及記錄用戶目錄和文件信息等。最后一部分是數(shù)據(jù)區(qū)，數(shù)據(jù)區(qū)分成了若干個Slice，每一個Slice 大小為64M 大小。

索引區(qū)和數(shù)據(jù)區(qū)完全分離，索引區(qū)的大小根據(jù)實際的存儲空間的大小來確定，由于索引和數(shù)據(jù)分離，可以把索引和數(shù)據(jù)存儲到不同的資源上，且對索引數(shù)據(jù)使用更可靠的raid1，系統(tǒng)會更可靠。由于索引更新有更小IO 和更隨機(jī)的寫入方式，減少了緩存使用和使用存儲性能更好的本地磁盤。而數(shù)據(jù)區(qū)大可以通過保證順序讀寫來提高IO 的吞吐量。把大量隨機(jī)寫轉(zhuǎn)為一個存儲空間上實現(xiàn)順序?qū)?，這樣空閑的存儲空間實現(xiàn)了休眠，實現(xiàn)了節(jié)能，也減少了磁頭的轉(zhuǎn)動，增加了盤的使用壽命。

本文件系統(tǒng)架構(gòu)同時對索引區(qū)進(jìn)行了優(yōu)化，使用多個卷索引，每30G 數(shù)據(jù)區(qū)大小有兩個卷索引，且每一個卷索引都是另一個卷索引的備份，進(jìn)一步提高了索引的可靠性。目錄索引和文件索引被分成多個文件，一個索引描述2G 大小的數(shù)據(jù)區(qū)。這樣可以提高查找文件和目錄的速率。

數(shù)據(jù)區(qū)被分成了以64M 為單位的數(shù)據(jù)單元，在存儲用戶文件時按64M 為單位進(jìn)行分配，減少了文件碎片，提高了文件順序?qū)懭腴L度。當(dāng)不足64M 時，先存在緩存中，可以使用索引區(qū)的信息進(jìn)行區(qū)分，從而可以對多個小文件進(jìn)行合并，合并后再更新索引區(qū)信息，充分利用了磁盤空間，大大減少了磁盤碎片。

同時隨著數(shù)據(jù)產(chǎn)生后，存儲安全問題也亟需保證。對于結(jié)構(gòu)/半結(jié)構(gòu)化的數(shù)據(jù)，實際分布式數(shù)據(jù)庫本身就存在安全機(jī)制，同時對于各級平臺的中心數(shù)據(jù)庫，我們采用了數(shù)據(jù)庫定期備份、雙機(jī)等保證我們的數(shù)據(jù)保存與運行安全。

對于視頻錄像數(shù)據(jù)，我們的UniMAS 系統(tǒng)采用磁盤陣列技術(shù)保證數(shù)據(jù)的冗余安全，同時對于特別的數(shù)據(jù)，提供計劃和手動的N+M 備份方案；比如ISCSI 的雙直存，本級平臺存儲一份高清的主碼流，上級平臺存儲一份標(biāo)清的輔碼流；對于ONVIF 等不支持ISCSI 的設(shè)備，采用實況流轉(zhuǎn)存的方式；或者采用備份服務(wù)器對已有的視頻錄像進(jìn)行同步備份。

4 結(jié)論

針對電力行業(yè)存儲數(shù)據(jù)的類型和應(yīng)用場景，需要對海量異構(gòu)數(shù)據(jù)的存儲模式和性能提出以下的要求。

1）更高的存儲空間：隨著安防監(jiān)控中的高清視頻和圖像的數(shù)據(jù)量增大，特別是電力行業(yè)中各種視頻和圖像數(shù)據(jù)、以及多元異構(gòu)網(wǎng)絡(luò)中的各種設(shè)備數(shù)據(jù)每天都在以驚人的加速態(tài)勢增長，這對存儲的空間提出了更高的要求，存儲管理空間需達(dá)到PB、甚至是ZB 級別。

2）更高效的空間利用率：由于電力系統(tǒng)中需存儲的業(yè)務(wù)的并發(fā)突發(fā)，音視頻存儲數(shù)據(jù)大小具有不確定性，同時各種告警聯(lián)動的存儲文件海量，且需周期性刪除，這需要提高存儲空間的利用率，有效減少磁盤碎片。

3）快速的檢索效率：良好的存儲系統(tǒng)架構(gòu)，還必須擁有海量數(shù)據(jù)的快速檢索效率。

4）更好的可靠性：安防監(jiān)控需要存儲的數(shù)據(jù)能夠安全可靠，同時具有異常恢復(fù)、冗余等性能，且由于電力系統(tǒng)對各種動環(huán)、傳感器等數(shù)據(jù)為主，音視頻存儲為輔的特點，需要在異?；謴?fù)時，盡量減少對現(xiàn)有業(yè)務(wù)的影響，同時又更快速安全的恢復(fù)。

針對以上的需求，本文研究了網(wǎng)絡(luò)存儲技術(shù)和文件系統(tǒng)技術(shù)，最終本項目中采用了成本較低且技術(shù)成熟的基于IP 網(wǎng)絡(luò)的IP-SAN 技術(shù)，實現(xiàn)了存儲的集中管理；針對海量文件存儲背景，支持海量視頻文件按照存儲時間快速檢索與回放，實現(xiàn)了元數(shù)據(jù)與存儲數(shù)據(jù)全分布式的塊文件系統(tǒng)，提高了磁盤的利用率，支持管理空間可達(dá)ZB 級別。在保證了較高數(shù)據(jù)安全性能的基礎(chǔ)上，盡量減少了異常對業(yè)務(wù)的影響，保障了電力系統(tǒng)業(yè)務(wù)的穩(wěn)定性和可靠性。

[1] 何文娜.大數(shù)據(jù)時代基于物理網(wǎng)何云計算的地質(zhì)信息化研究[D].華南理工大學(xué),2010.

[2] 楊德勝,陳江江,張明.電力大數(shù)據(jù)高速存儲及檢索關(guān)鍵技術(shù)研究與應(yīng)用[J].測試工具與解決方案,2014(3).

[3] 陳可峰,姚棟宇,洪衛(wèi)軍.基于IP 技術(shù)的視頻安防存儲設(shè)計[J].吉林公安高等?？茖W(xué)校學(xué)報,2010(1): 55.

[4] 王怡豐.面向非結(jié)構(gòu)化分布式存儲系統(tǒng)的性能分析系統(tǒng)研究[D].上海: 復(fù)旦大學(xué),2010.

[5] 張健.電力企業(yè)核心業(yè)務(wù)數(shù)據(jù)存儲方案設(shè)計[D].成都: 電子科技大學(xué),2010.