張志強

【摘要】隨著電力系統(tǒng)仿真計算產(chǎn)生的數(shù)據(jù)量逐漸增多，對數(shù)據(jù)存儲的要求逐漸提升，電力系統(tǒng)人員希望采用大數(shù)據(jù)平臺對海量電網(wǎng)仿真計算文件進行存儲。同時海量的電網(wǎng)仿真計算文件在 Hadoop 平臺上的檢索也很困難，給研究帶來了諸多難題。本文分析 Hadoop 的分布式文件系統(tǒng)在存儲和處理海量的電網(wǎng)仿真計算文件時出現(xiàn)的問題，并分析出現(xiàn)這些問題的原因。然后介紹電網(wǎng)仿真計算文件多層索引的總體架構設計，闡述了電網(wǎng)仿真計算文件多層索引技術的總體模塊設計，以及各個模塊的功能設計。包括對電網(wǎng)仿真計算文件的合并設計，以及電網(wǎng)仿真計算文件的全局索引和局部索引的設計，為電網(wǎng)仿真計算文件多層索引技術的實現(xiàn)奠定基礎。

關鍵詞：電網(wǎng);多層索引技術;架構設計

1、前言

隨著電力系統(tǒng)仿真計算產(chǎn)生的數(shù)據(jù)量逐漸增多，對數(shù)據(jù)存儲的要求逐漸提升，電力系統(tǒng)人員希望采用大數(shù)據(jù)平臺對海量電網(wǎng)仿真計算文件進行存儲。在眾多大數(shù)據(jù)平臺中，Hadoop 采用多臺廉價計算機組成集群，并具有良好的擴展性和容錯性，成為眾多項目首選的大數(shù)據(jù)處理平臺。HDFS是 Hadoop的分布式文件系統(tǒng)，HDFS 有一個名字節(jié)點（Name Node）和多個數(shù)據(jù)節(jié)點（Data Node）。

文件數(shù)據(jù)經(jīng)過分塊后存儲在 HDFS 的數(shù)據(jù)節(jié)點中，每一個文件在名字節(jié)點中都保存有 metadata 信息。所以當電網(wǎng)仿真計算產(chǎn)生的數(shù)據(jù)結(jié)果文件有 10million 時，由于每個 block 塊默認大小為 64M，對于文件大小遠小于 64MB 的電網(wǎng)仿真計算文件來說，每一個電網(wǎng)仿真計算文件將對應一個 block 塊，將占用名字節(jié)點 3G 內(nèi)存。如果文件的數(shù)量再多一些的話，將會超過名字節(jié)點所能承受的極限，因為 Hadoop 是由若干普通廉價的計算機組成的集群。同時海量的電網(wǎng)仿真計算文件在 Hadoop 平臺上的檢索也很困難，給研究帶來了諸多難題。

2、系統(tǒng)總體設計

電網(wǎng)海量仿真計算文件多層索引技術是對海量的電網(wǎng)仿真計算文件在 Hadoop 平臺下處理前的預處理技術，該項技術包括合并電力系統(tǒng)仿真計算數(shù)據(jù)文件模塊、Hadoop 自定義輸入分片模塊和建立電網(wǎng)仿真計算文件多層索引模塊。電網(wǎng)海量仿真計算多層索引技術在 Hadoop 平臺下的模塊圖如圖 1 所示。

電網(wǎng)仿真計算文件通過合并具有相同文件類型的文件來大量減小電網(wǎng)仿真計算文件的數(shù)量，從而達到減小 Name Node 節(jié)點內(nèi)存占用的效果，并通過自定義 Hadoop輸入分片使其特殊的數(shù)據(jù)結(jié)構能夠在Hadoop分布式文件系統(tǒng)進行分片處理，圖中“#”作為電網(wǎng)仿真計算文件在Hadoop平臺進行分布式處理的分隔符。為了方便文件檢索與訪問，進一步為所有電力系統(tǒng)仿真計算文件建立基于Trie樹數(shù)據(jù)結(jié)構的多層索引。將電網(wǎng)仿真計算文件的合并條件“文件類型”作為仿真計算文件的全局索引，在此基礎上進一步建立基于Trie樹的數(shù)據(jù)結(jié)構的電網(wǎng)仿真計算文件名字的局部一級索引，并通過一級索引Trie樹的分裂建立電網(wǎng)仿真計算文件名首字母到一級索引分片的映射，電網(wǎng)仿真計算文件名字的首字母即為其局部二級索引。

為了實現(xiàn)項目需求，解決海量的電力系統(tǒng)仿真計算文件在分布式文件系統(tǒng)上進行數(shù)據(jù)處理時的NameNode節(jié)點內(nèi)存占用過多問題以及提升電網(wǎng)仿真計算文件檢索效率的問題，設計了以下幾個模塊對數(shù)據(jù)文件進行處理：合并電網(wǎng)仿真計算文件模塊，自定義Hadoop輸入分片模塊，和建立電網(wǎng)仿真計算文件的多層索引模塊。

合并電力系統(tǒng)仿真計算文件模塊負責將海量的電網(wǎng)仿真計算文件通過合并算法進行合并。通過調(diào)研電網(wǎng)仿真計算文件的數(shù)據(jù)特點，可根據(jù)電網(wǎng)仿真計算文件的文件類型進行文件的合并。自定義Hadoop輸入分片文件通過重寫Hadoop的InputFormat類，自定義適用于電網(wǎng)仿真計算文件的split分隔符。建立多層索引模塊為電力系統(tǒng)仿真計算結(jié)果文件建立索引，其中全局索引是文件類型，局部索引借鑒Trie樹的數(shù)據(jù)結(jié)構，為電網(wǎng)仿真計算文件的文件名建立Trie樹索引。這樣設計的好處是利用Trie樹空間換時間思想減小檢索時間開銷。為了減小電網(wǎng)仿真計算文件索引臃腫帶來的檢索困難問題，接著為其建立以電網(wǎng)仿真計算文件名首字母的局部二級索引，配合進行檢索。

3、電網(wǎng)仿真計算文件合并設計

通過調(diào)研分析，對電網(wǎng)仿真計算文件進行適當?shù)暮喜⒖梢杂行p小分布式文件系統(tǒng)中主節(jié)點的內(nèi)存占用。借鑒相關技術中的合并思想，本課題通過自定義的合并算法對海量電網(wǎng)仿真計算文件進行合并。

由于BPA， PSASP， PSCAD等電力系統(tǒng)仿真計算軟件多種多樣，電力系統(tǒng)仿真計算的模型也是多種多樣，其產(chǎn)生的大量的電力系統(tǒng)方針計算數(shù)據(jù)可以稱之為海量。由電網(wǎng)仿真計算文件數(shù)據(jù)可得，電力系統(tǒng)仿真計算主要包括潮流計算和暫態(tài)穩(wěn)定計算，其產(chǎn)生的結(jié)果文件皆為單個文件體積很小的小文件。通過將這些電網(wǎng)仿真計算文件進行適當?shù)暮喜?，可以從宏觀上減少需要分布式文件系統(tǒng)處理的文件數(shù)目，進而減小Block塊數(shù)目，那么它在NameNode節(jié)點上的元數(shù)據(jù)信息就得到減小，從而減小其占用的內(nèi)存。

通過分析電力系統(tǒng)仿真計算數(shù)據(jù)文件的文件類型，發(fā)現(xiàn)有一些不同格式的文件，例如JPg.格式、 .txt格式等等，按照仿真計算數(shù)據(jù)文件的文件類型進行合并不僅能夠減小在HDFS中NameNode節(jié)點的內(nèi)存消耗，還可以將文件類型作為全局索引配合多層索引的建立，從而提高電網(wǎng)仿真計算結(jié)果文件的檢索效率。

電網(wǎng)仿真計算文件具體合并過程如下，新建一個文件路徑印用來存放合并后的電網(wǎng)仿真計算文件，新建一個字符串數(shù)組fl用來存放要合并的電網(wǎng)仿真計算文件，遍歷印路徑下的所有電網(wǎng)仿真計算文件，讀取它們的后綴名進而得到電網(wǎng)仿真計算文件的文件類型，創(chuàng)建文件類型對應的文件夾，并將屬于該類型的電網(wǎng)仿真計算文件進行集合，具體流程如圖2所示，判斷該電網(wǎng)仿真計算文件的文件類型，判斷是否新建了該類型的字符串數(shù)組，若存在，則放入該字符串數(shù)組;若不存在，則新建該類型的文件集合。直到所有電網(wǎng)仿真計算文件被處理完成，即可完成合并操作。

4、電網(wǎng)仿真計算文件索引設計

電網(wǎng)仿真計算數(shù)據(jù)文件按照文件的類型進行合并后，使用Hadoop的分布式文件系統(tǒng)進行存儲和數(shù)據(jù)處理。HDF S的原理是將需要處理的文件塊自動分成若干塊，這些數(shù)據(jù)塊分布在各個數(shù)據(jù)節(jié)點上。當有一些需求需要檢索電網(wǎng)仿真計算數(shù)據(jù)文件時，由于合并后的仿真計算文件與原仿真計算文件的對應以及海量的文件僅憑文件類型很難進行檢索，所以需要為其設計建立索引，方便進行快速檢索。

如圖3所示是電網(wǎng)仿真計算文件的多層索引模塊圖，其中電網(wǎng)仿真計算文件根據(jù)文件后綴名進行合并后交給HDFS進行處理，合并后的電網(wǎng)仿真計算文件通過block分塊進而存儲在數(shù)據(jù)節(jié)點上，NameNode節(jié)點中存儲著每個合并后的電網(wǎng)仿真計算文件數(shù)據(jù)塊的元數(shù)據(jù)信息。同時，電網(wǎng)仿真計算文件的合并依據(jù)：電網(wǎng)仿真計算文件的文件類型將作為全局索引，也將存儲于主節(jié)點的內(nèi)存中。為減小內(nèi)存壓力，電網(wǎng)仿真計算文件的局部索引存儲于數(shù)據(jù)節(jié)點的內(nèi)存中。

5、結(jié)論

本文分析了 Hadoop 的分布式文件系統(tǒng)在存儲和處理海量的電網(wǎng)仿真計算文件時出現(xiàn)的問題，并分析出現(xiàn)這些問題的原因。然后介紹電網(wǎng)仿真計算文件多層索引的總體架構設計，闡述了電網(wǎng)仿真計算文件多層索引技術的總體模塊設計，以及各個模塊的功能設計。包括對電網(wǎng)仿真計算文件的合并設計，以及電網(wǎng)仿真計算文件的全局索引和局部索引的設計，為電網(wǎng)仿真計算文件多層索引技術的實現(xiàn)奠定基礎。

參考文獻

[1]黃阮明， 黃一超， 費斐， et al. 電網(wǎng)規(guī)劃仿真自動潮流計算軟件的設計[J]. 工業(yè)控制計算機， 2018， v.31（06）：53-54.

[2]吳蘇波. 變電站仿真培訓系統(tǒng)電網(wǎng)計算模塊的開發(fā)[J]. 廣東科技， 2007（s2）：123-124.

[3]梁文騰， 喬卉， 龔慶武， et al. 可擴展性虛擬配電網(wǎng)仿真系統(tǒng)設計[J]. 電網(wǎng)技術， 2010（8）：102-107.

[4]姜文立. 論調(diào)度系統(tǒng)大電網(wǎng)離線仿真計算基礎工作相關問題[J]. 華中電力， 2010， 23（3）：21-23.

[5]Steinmacher I ，? Wiese I S ，? Chaves A P ， et al. Newcomers Withdrawal in Open Source Software Projects： Analysis of Hadoop Common Project[C]// Brazilian Symposium on Collaborative Systems. IEEE Computer Society， 2012.

[6]Cai X ，? Li F ，? Li P ， et al. SLA-aware energy-efficient scheduling scheme for Hadoop YARN[J]. Journal of Supercomputing， 2017， 73（8）：3526-3546.

[7]張海， 馬建紅. 基于HDFS的小文件存儲與讀取優(yōu)化策略[J]. 計算機系統(tǒng)應用， 2014（5）：34-36.

[8]段隆振， 洪新利， 邱桃榮. 基于MapFile的HDFS小文件存取優(yōu)化[J]. 南昌大學學報（工科版）， 2017， 39（2）：175-178.

[9]趙曉南， 曾雷杰， 李戰(zhàn)懷. 一種基于塊級的存儲性能優(yōu)化方法[J]. 計算機科學， 2009， 36（6）：129-132.