王秋琳，宋立華，閆麗飛，林 暉

（福建億榕信息技術(shù)有限公司 福建 福州350003）

一種非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化存儲系統(tǒng)設(shè)計

王秋琳，宋立華，閆麗飛，林 暉

（福建億榕信息技術(shù)有限公司 福建 福州350003）

針對電力系統(tǒng)信息運維現(xiàn)狀，研究并設(shè)計了電力業(yè)務(wù)非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化存儲系統(tǒng)。首先詳述了非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)的架構(gòu)方案；針對分布式存儲問題，提出了均衡分布優(yōu)化策略，并在此基礎(chǔ)上設(shè)計了協(xié)同數(shù)據(jù)查詢優(yōu)化方案。數(shù)據(jù)集劃分時間、數(shù)據(jù)集讀取時間、查詢正確率、數(shù)據(jù)節(jié)點服務(wù)器負載和請求響應(yīng)時延等實驗表明，所搭建的評測環(huán)境可滿足測試需要，所研制的方案具有一定的優(yōu)勢，滿足電力業(yè)界主流分布式存儲技術(shù)的能力特征及適用性。

非結(jié)構(gòu)化數(shù)據(jù)；查詢優(yōu)化；存儲系統(tǒng)；均衡分布

電力系統(tǒng)實時數(shù)據(jù)包括運行數(shù)據(jù)、負荷狀況、故障信號以及維護業(yè)務(wù)等，是電網(wǎng)信息調(diào)度中心分析電網(wǎng)穩(wěn)定、計算潮流、查看設(shè)備運行狀態(tài)的依據(jù)。這些實時系統(tǒng)信息數(shù)量巨大、種類繁多、實時性高，包含了各業(yè)務(wù)子系統(tǒng)產(chǎn)生的文本、圖片、語音、視頻等文件，屬于典型的非結(jié)構(gòu)化數(shù)據(jù)[1]。這些數(shù)據(jù)的讀取速率通常在每秒百M以上，交換性強，給電力企業(yè)信息調(diào)度中心造成了存儲與查詢難題。故針對電力系統(tǒng)信息運維現(xiàn)狀，如何構(gòu)建一個高性能、高可用、高保險的存儲系統(tǒng)是目前電力數(shù)據(jù)處理領(lǐng)域研究的重要課題。

1 非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)架構(gòu)

電網(wǎng)實時數(shù)據(jù)種類多、數(shù)量大，且數(shù)據(jù)格式不統(tǒng)一，為典型的非結(jié)構(gòu)化數(shù)據(jù)，其操作方式多為一次寫入、多次讀取，以便滿足電力設(shè)備故障分析、電力自動化設(shè)備優(yōu)化調(diào)整等方面的需要。為適應(yīng)實時電力數(shù)據(jù)處理的要求，支持多種存儲架構(gòu)思路和分布式存儲技術(shù)，提升數(shù)據(jù)查詢優(yōu)化性能，該存儲系統(tǒng)所配置的基礎(chǔ)軟硬件設(shè)施包括Mongodb數(shù)據(jù)庫、Oracle數(shù)據(jù)庫、SAN存儲、NAS存儲以及廉價PC Server存儲服務(wù)器等[2]。

其中，數(shù)據(jù)存儲層是整個存儲系統(tǒng)的基礎(chǔ)，實現(xiàn)電力數(shù)據(jù)的高速、并行、實時處理，包括元數(shù)據(jù)處理單元、文件路徑及權(quán)限元數(shù)據(jù)處理單元、分布式存儲計算單元、集中式存儲計算單元等。

元數(shù)據(jù)管理組件層包括與存儲構(gòu)架相連的一些底層的設(shè)備驅(qū)動組件和Web Service組件，提供設(shè)備驅(qū)動和Web應(yīng)用服務(wù)的底層實現(xiàn)，同時負責(zé)數(shù)據(jù)的管理與訪問。該層為架構(gòu)優(yōu)化設(shè)計的核心，將替代EMC的Documentum產(chǎn)品，作為非結(jié)構(gòu)化平臺底層核心元數(shù)據(jù)管理組件，集中體現(xiàn)分布式存儲功能支持及性能優(yōu)化思路。在內(nèi)部，該層管理組件由Client和Server兩端組成[3]。Client端可為上層的非結(jié)構(gòu)化數(shù)據(jù)管理平臺接入組件或全文檢索組件所引用，實現(xiàn)對底層的文件傳輸、存儲、元數(shù)據(jù)管理各功能的調(diào)用；Server端則由元數(shù)據(jù)服務(wù)邏輯節(jié)點Meta Server、文件傳輸及存儲管理邏輯節(jié)點File Server、路徑與權(quán)限內(nèi)存服務(wù)邏輯節(jié)點Name Server、離線計算單元邏輯節(jié)點Offline Computation Server、分布式存儲邏輯節(jié)點 PC Storage Cluster Server組成[4]。

該層設(shè)計方案的另一個獨特之處在于整體架構(gòu)不依賴于任何第三方組件，即所有目前采用的第三方組件均可替換，包括文檔數(shù)據(jù)庫Mongodb、內(nèi)存KV數(shù)據(jù)庫Riak、分布式存儲服務(wù)Riak-CS等[11]。同時，該層具有全面的服務(wù)高可用性。任何服務(wù)邏輯節(jié)點都有采用集群部署或主備部署模式，整個系統(tǒng)不存在單點故障，能夠提供高穩(wěn)定的服務(wù)質(zhì)量。另外，F(xiàn)ile Server端的文件流式傳輸服務(wù)支持部署到多臺服務(wù)器、離線計算節(jié)點Off-Line Computation支持不受數(shù)量限制的物理機及虛擬機部署，可實現(xiàn)對非結(jié)構(gòu)化平臺不斷增長的業(yè)務(wù)提供柔性支持[5]。服務(wù)層與應(yīng)用層為客戶提供服務(wù)，包括具體的數(shù)據(jù)處理程序、身份注冊與認證服務(wù)、密碼服務(wù)、文件和數(shù)據(jù)的讀寫與傳輸、網(wǎng)頁瀏覽與電子郵件服務(wù)等。

中間件主要包括分布式協(xié)調(diào)及調(diào)度服務(wù)——Zookeeper，分布式消息中間件——MetaQ，為各方案提供分布式環(huán)境下調(diào)度及消息服務(wù)方面的支持。

2 多服務(wù)器的分布式系統(tǒng)數(shù)據(jù)查詢優(yōu)化

2.1 電力數(shù)據(jù)的均衡分布優(yōu)化策略

電網(wǎng)狀態(tài)數(shù)據(jù)的實時性強、數(shù)據(jù)量大，考慮實時性的需求，同時也為減少因過度強調(diào)存儲平衡而帶來的數(shù)據(jù)頻繁遷移，避免已存數(shù)據(jù)的不同數(shù)據(jù)中心的數(shù)據(jù)重分布而引起的數(shù)據(jù)大規(guī)模傳輸，需對電力數(shù)據(jù)進行均衡分布處理。傳統(tǒng)的分布處理通常按存儲設(shè)備性能高低進行聚類分析，對同一設(shè)備類中的數(shù)據(jù)采用一致Hash算法進行分配[6]。然而，以上分布策略未考慮到數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，數(shù)據(jù)所在的位置決定著數(shù)據(jù)查詢的效率、數(shù)據(jù)讀取和傳輸?shù)男?。故需對均衡分布策略進行優(yōu)化改進。

依據(jù)同一數(shù)據(jù)庫和不同用戶間數(shù)據(jù)的關(guān)聯(lián)性以及共享性的要求，此處提出的優(yōu)化策略為先通過特定優(yōu)化算法進行關(guān)聯(lián)數(shù)據(jù)的初步分類，之后根據(jù)各數(shù)據(jù)依賴關(guān)系，將具有數(shù)據(jù)依賴關(guān)系的數(shù)據(jù)存放在同一服務(wù)器上。此處所謂的依賴關(guān)系是指電力數(shù)據(jù)按照類型、大小、數(shù)據(jù)源等為依據(jù)進行聚類處理后得到的關(guān)聯(lián)性，可認為被歸為一類的數(shù)據(jù)彼此間具有一定的依賴關(guān)系。在該系統(tǒng)中，采用改進的遺傳算法進行源數(shù)據(jù)的分布優(yōu)化。設(shè)現(xiàn)將第組中的數(shù)據(jù)A按需存儲到設(shè)備②中、數(shù)據(jù)B存儲到設(shè)備③中、數(shù)據(jù)C存儲到設(shè)備①中，則可用數(shù)據(jù)分布矩陣表示為

此方法編碼簡單，只需要選取n個（數(shù)據(jù)個數(shù)）位置，填充為1即可，幾乎等同于無編碼。而同樣表示數(shù)據(jù)分布關(guān)系的二進制位串則一定需要編碼，而且編碼需要解析，且增加很大解析工作量。且以該矩陣進行編碼可方便后期進化算法中的交叉變換。該矩陣為整個解空間，故不管行或列如何交叉變換，得到的解均是滿足最優(yōu)解或次優(yōu)解要求的。另外，因分布矩陣中的行列交叉可演化出所有解的情況，故采用分布矩陣可避免傳統(tǒng)遺傳算法中的變異操作，進而可節(jié)省大量的計算資源[7]。

在通常的二進制編碼方式下，變異操作知識簡單地將基因某一位取反，即將“0”變?yōu)椤?”，將“1”變?yōu)椤?”。采用矩陣方式的遺傳算法不需要進行變異，因為矩陣之中的交叉交換就可以演化出所有的解情況，故可節(jié)省大量的計算步驟。

以給定初始解作為進化種群，在該種群中進行個體的進化操作，同時設(shè)定其適應(yīng)度函數(shù)。該適應(yīng)度函數(shù)通過比較種群中個體對各自環(huán)境的適應(yīng)程度來決定染色體的優(yōu)劣，應(yīng)該有效的反應(yīng)每一染色體與最優(yōu)解染色體之間的差距。適應(yīng)度是評價染色體優(yōu)劣的唯一標(biāo)準(zhǔn)[16]。根據(jù)用戶使用歷史與數(shù)據(jù)訪問歷史記錄，服務(wù)器的能力和網(wǎng)絡(luò)性能，可為每一種位置計算出一個適應(yīng)值，此處以NetValue表示數(shù)據(jù)k分布在機器i上時的網(wǎng)絡(luò)性能度量，以SeverValue表示數(shù)據(jù)k分布在機器i上時的服務(wù)器處理性能和負載能力的度量，即

則適應(yīng)度Fi的計算式為

以矩陣Fi中對角線元素表示第i組中的數(shù)據(jù)A、B、C存放位置的適應(yīng)度。

假設(shè)在用戶需要調(diào)用數(shù)據(jù)時，設(shè)備①上存儲的A、B、C 3個數(shù)據(jù)的網(wǎng)絡(luò)狀況評分分別為 1、7、5（數(shù)值越大，表明網(wǎng)絡(luò)狀態(tài)越好），設(shè)備②網(wǎng)絡(luò)連接評分為 3、1、6，設(shè)備③為 8、3、9，則可得

將海量電網(wǎng)監(jiān)測數(shù)據(jù)分布存儲的目的在于使得其能在不同的服務(wù)器上并行計算和安全存儲，然而，為提高用戶在不同服務(wù)器上調(diào)取、查詢非結(jié)構(gòu)化數(shù)據(jù)的速率，需進行分布式數(shù)據(jù)的查詢優(yōu)化[8]。為減輕主控服務(wù)器的查詢、處理壓力，同時以便均衡網(wǎng)絡(luò)負載壓力，該系統(tǒng)采用遞歸查詢方式來實現(xiàn)多服務(wù)器的協(xié)同數(shù)據(jù)查詢。

該遞歸查詢方式由相關(guān)的數(shù)據(jù)庫來協(xié)調(diào)完成，不需要主控服務(wù)器的全程參與，其查詢步驟如下：

1）查詢請求：由終端用戶向主控服務(wù)器發(fā)送請求，申請查詢資格；

2）初步查詢：收到用戶請求的主控機對申請數(shù)據(jù)表進行分析，對包含數(shù)據(jù)的服務(wù)器進行定位，同時將分析結(jié)果下傳至鄰近數(shù)據(jù)庫；

3）數(shù)據(jù)下傳：數(shù)據(jù)庫服務(wù)器間將相關(guān)數(shù)據(jù)及主控定位信息持續(xù)下傳；

4）下傳查詢：信息持續(xù)傳遞到末端數(shù)據(jù)庫服務(wù)器；

5）查詢回傳：末端數(shù)據(jù)庫服務(wù)器查詢相關(guān)數(shù)據(jù)，并將結(jié)果按原路回傳至鄰居服務(wù)器；

6）查詢優(yōu)化：根據(jù)查詢優(yōu)化規(guī)則，部分地開始鏈接和選擇數(shù)據(jù)表，將部分結(jié)果按原路返回到首端數(shù)據(jù)庫服務(wù)器；

7）結(jié)果遞交：最終首端數(shù)據(jù)庫服務(wù)器將查詢結(jié)果遞交給發(fā)出查詢請求的終端用戶。

3 存儲系統(tǒng)性能評測

3.1 評測環(huán)境搭建

為評測系統(tǒng)存儲性能，驗證數(shù)據(jù)均衡與優(yōu)化查詢算法的有效性，利用1臺PC機作為元數(shù)據(jù)服務(wù)器，用于存儲客戶端連接與邏輯處理信息，其硬件資源配置信息為Intel Core i7處理器、16 GB DDR3內(nèi)存、SATA3 1TB硬盤；3臺PC作為數(shù)據(jù)存儲節(jié)點，用于存儲緩存與持久化數(shù)據(jù)存儲，其硬件資源配置信息為Intel Core i5-4590處理器、8 GB DDR3內(nèi)存、SATA3 4TB硬盤；1臺PC作為性能測試節(jié)點，用于模擬用戶發(fā)送的數(shù)據(jù)查詢及傳輸請求，其硬件資源配置信息為Intel Core i5-4590處理器、4 GB DDR3內(nèi)存、SATA3 2TB硬盤；為排除網(wǎng)絡(luò)延遲影響，各服務(wù)器間以千兆以太網(wǎng)相連組成局域網(wǎng)。3個數(shù)據(jù)節(jié)點采取主從模式，測試節(jié)點向應(yīng)用節(jié)點發(fā)送數(shù)據(jù)請求并等待響應(yīng)[10]。

實驗數(shù)據(jù)主要包括電力監(jiān)控視頻（＜500 MB）、監(jiān)視圖片（平均＜3 MB）、周用電負荷報表文本數(shù)據(jù)、變電站各設(shè)備狀態(tài)文本數(shù)據(jù)、月運行故障報表數(shù)據(jù)、運維及營銷文本數(shù)據(jù)、客戶資料文本數(shù)據(jù)等幾十種數(shù)據(jù)文件，多數(shù)報表及文本文件文件，大小一般分布在10～2 048 kB范圍內(nèi)，總文件個數(shù)超過約為158 420 000個，總存儲大小超過約2509 GB。

為滿足同一數(shù)據(jù)庫和不同用戶間數(shù)據(jù)的關(guān)聯(lián)性、共享性要求，將以上現(xiàn)有實驗數(shù)據(jù)根據(jù)式（1）～（3）所示的優(yōu)化策略進行關(guān)聯(lián)性分類，依據(jù)各數(shù)據(jù)間的依賴關(guān)系進行數(shù)據(jù)集劃分。此處依據(jù)電力業(yè)務(wù)類型、各文件大小比例關(guān)系、各文件關(guān)聯(lián)度大小、服務(wù)器處理性能和負載能力度量需求等因素劃分?jǐn)?shù)據(jù)集，每個數(shù)據(jù)集以文件切片的方式進行分布式存儲，隨機分布于3個數(shù)據(jù)節(jié)點上。為使得實驗結(jié)果更具有說服性，元數(shù)據(jù)與數(shù)據(jù)集間的調(diào)用關(guān)系也隨機確定，其元數(shù)據(jù)由一個二元組{Cp，Di}進行描述，其中Cp表示所查詢或申請的數(shù)據(jù)所在的數(shù)據(jù)中心節(jié)點，Di為調(diào)用的數(shù)據(jù)集。

3.2 測試結(jié)果與分析

對該分布式存儲系統(tǒng)進行的性能測試包括數(shù)據(jù)集劃分時間、數(shù)據(jù)集讀取時間、查詢正確率、數(shù)據(jù)節(jié)點服務(wù)器負載和請求響應(yīng)時延實驗，相同的測試實驗重復(fù)10次，排除最值并取平均。數(shù)據(jù)集的劃分與查詢讀取時間的統(tǒng)計結(jié)果如圖1～2所示，由圖可知，隨著數(shù)據(jù)集文件切片中包含文件數(shù)的增多，依據(jù)關(guān)聯(lián)性劃分的所需時間將增大，同時對數(shù)據(jù)集中某用戶申請查詢的數(shù)據(jù)讀取影響也較大，因小文件的有效查詢時間與其在數(shù)據(jù)集中的位置以及服務(wù)器處理負載能力度量值均有關(guān)系，故在后期實驗中，將文件分片的大小設(shè)定為每數(shù)據(jù)集包含小文件不超過600個。

圖1 劃分?jǐn)?shù)據(jù)集平均時間

圖2 數(shù)據(jù)集讀取平均時間

用戶發(fā)送查詢申請的數(shù)據(jù)查詢正確率統(tǒng)計結(jié)果如圖3所示。在該實驗中，通過性能測試節(jié)點模擬實際電力系統(tǒng)中多個用戶同時發(fā)送不同查詢申請的查詢實驗，查詢正確率為查詢結(jié)果與查詢申請數(shù)的比值，可看出，隨著同時發(fā)送查詢申請數(shù)量的增大，基于本文系統(tǒng)的數(shù)據(jù)查詢正確率略有下降，但均不低于99.4%，在可接受范圍內(nèi)，同時發(fā)送查詢數(shù)量的增長對查詢正確率影響不大[11]。

為驗證本文均衡分布優(yōu)化策略的有效性，分別利用本文策略與一致Hash算法、SequenceFile算法對比測試相應(yīng)的節(jié)點服務(wù)器負載和請求響應(yīng)時延[12]。其對比結(jié)果如圖4～5所示。由結(jié)果可知，當(dāng)系統(tǒng)分別存 儲 50 000、100 000、150 000、200 000、250 000、300 000個小文件時，本文策略與SequenceFile算法在降低數(shù)據(jù)存儲節(jié)點負載方面都要優(yōu)于一致Hash算法。在平均響應(yīng)時延方面，本文策略的平均時延低于其余兩者，隨著查詢請求數(shù)量的增加，時延增勢最為緩慢。

圖3 用戶申請查詢正確率

圖4 平均查詢請求響應(yīng)平均時延

圖5 數(shù)據(jù)節(jié)點服務(wù)器負載對比結(jié)果

4 結(jié)束語

文中研究并設(shè)計了電力業(yè)務(wù)非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化存儲系統(tǒng)。為降低電力公司存儲成本、提升數(shù)據(jù)管理及服務(wù)的性能水平，滿足上層各業(yè)務(wù)系統(tǒng)在非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域的使用需求，文中首先詳述了非結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)的架構(gòu)方案；針對分布式存儲問題，提出了均衡分布優(yōu)化策略，并在此基礎(chǔ)上設(shè)計了協(xié)同數(shù)據(jù)查詢優(yōu)化方案。數(shù)據(jù)集劃分時間、數(shù)據(jù)集讀取時間、查詢正確率、數(shù)據(jù)節(jié)點服務(wù)器負載和請求響應(yīng)時延等實驗表明，所搭建的評測環(huán)境可滿足測試需要，所研制的方案具有一定的優(yōu)勢，滿足電力業(yè)界主流分布式存儲技術(shù)的能力特征及適用性。

[1]趙俊華，文福拴，薛禹勝.云計算：構(gòu)建未來電力系統(tǒng)的核心計算平臺[J].電力系統(tǒng)自動化，2010，34（10）：1-8.

[2]張逸，楊洪耕，葉茂清.基于多 Agent的電能質(zhì)量輔助服務(wù)平臺[J].電力自動化設(shè)備，2012，32（12）：92-96.

[3]張健.電力企業(yè)核心業(yè)務(wù)數(shù)據(jù)存儲方案設(shè)計[D].成都：電子科技大學(xué)，2010.

[4]張逸，楊洪耕，葉茂清.基于分布式文件系統(tǒng)的海量電能質(zhì)量監(jiān)測數(shù)據(jù)管理方案[J].電力系統(tǒng)自動化，2014，38（2）：102-107.

[5]丁杰，奚后瑋，韓海韻.面向智能電網(wǎng)的數(shù)據(jù)密集型云存儲策略[J].電力系統(tǒng)自動化，2012，36（12）：65-72.

[6]王培.智能電網(wǎng)監(jiān)測數(shù)據(jù)的云存儲研究[D].北京：華北電力大學(xué)，2012.

[8]陳錦銘，袁曉冬.電能質(zhì)量在線監(jiān)測平臺的設(shè)計與開發(fā) [J].電力信息化，2011，9（3）：60-64.

[9]馬惠芳.非結(jié)構(gòu)化數(shù)據(jù)采集和檢索技術(shù)的研究與應(yīng)用 [D].上海：東華大學(xué)，2013.

[10]沐連順，崔立忠，安寧.電力系統(tǒng)云計算中心的研究與實踐 [J].電網(wǎng)技術(shù)，2011，35（6）：171-175.

[11]李成華，張新訪，金海.MapReduce：新型的分布式并行計算編程模型[J].計算機工程與科學(xué)，2011，33（3）：129-135.

[12]鄭偉，周喜超，王維洲.一種高性能的多級異構(gòu)電能質(zhì)量數(shù)據(jù)庫同步方法[J].電力科學(xué)與工程，2010，26（10）：21-24.

Design of a storage system for unstructured data query optimization

WANG Qiu-lin，SONG Li-hua，YAN Li-fei，LIN Hui
（Fujian Yirong Information Technology co.，LTD.Fuzhou 350003，China）

Aiming at the current situation of electric power system information operations，this paper researched an electric power business storage system for unstructured data query optimization.Firstly，the architecture scheme of unstructured data storage system was detailed.Then，for the distributed storage problems，the balanced distribution optimization strategy was proposed and the collaborative data query optimization scheme was designed based on the proposed strategy.The experimental results such as dataset partition time，reading time，data query accuracy，server load and request response time delay etc indicated that the evaluating environment could meet the needs of the testing and the developed scheme had certain advantages which meet the ability of electric power industry mainstream distributed storage technology characteristics and applicability.

unstructured data；query optimization；storage system；equilibrium distribution

TN73

：A

：1674－6236（2017）13-0016-05

2016-05-19稿件編號：201605189

王秋琳（1980—），男，福建龍巖人，高級工程師。研究方向：電力信息系統(tǒng)建設(shè)、大數(shù)據(jù)存儲、大數(shù)據(jù)分析。