劉 宇

（國網(wǎng)山西省電力公司忻州供電公司）

0 引言

電力調(diào)度系統(tǒng)在整個(gè)電力系統(tǒng)內(nèi)占據(jù)著重要地位。在當(dāng)前電網(wǎng)互聯(lián)程度持續(xù)提升、智能電網(wǎng)建設(shè)程度逐步加深的大背景下，電網(wǎng)調(diào)度工作的展開難度隨之提高。此時(shí)，需要落實(shí)對(duì)電力調(diào)度系統(tǒng)的更新，特別是要進(jìn)一步優(yōu)化電力計(jì)算平臺(tái)，完成智能電網(wǎng)調(diào)度系統(tǒng)的構(gòu)建，滿足現(xiàn)實(shí)調(diào)度工作需要的強(qiáng)數(shù)據(jù)存儲(chǔ)與計(jì)算能力要求。

1 基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的構(gòu)建需求分析

基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的設(shè)計(jì)與構(gòu)建期間，需要著重把握以下幾項(xiàng)需求與目標(biāo)，即有：

第一，實(shí)現(xiàn)對(duì)現(xiàn)有電力系統(tǒng)IT資源的整合。相應(yīng)智能調(diào)度云計(jì)算數(shù)據(jù)中心的搭建必須要能夠?qū)ΜF(xiàn)有的電力系統(tǒng)IT資源實(shí)施整合處理，以此促使所有資源均可以得到有效利用?？梢源罱ㄆ鹦碌臄?shù)據(jù)中心，切實(shí)對(duì)云計(jì)算最基本的點(diǎn)進(jìn)行滿足，按需分配；形成并應(yīng)用統(tǒng)一調(diào)用計(jì)算、存儲(chǔ)以及服務(wù)形式的運(yùn)行機(jī)制。第二，保證數(shù)據(jù)中心基礎(chǔ)設(shè)施的高度可靠。使用HA設(shè)計(jì)處理重要資源，促使基礎(chǔ)設(shè)施的可靠性水平得到進(jìn)一步提升。例如，將雙機(jī)熱備冗余配置在核心網(wǎng)絡(luò)內(nèi)；針對(duì)重要數(shù)據(jù)庫實(shí)施HA配置等等。第三，確保網(wǎng)絡(luò)結(jié)構(gòu)具備可拓展性。保證可以彈性調(diào)整數(shù)據(jù)中心的規(guī)模，以此實(shí)現(xiàn)對(duì)當(dāng)前以及未來業(yè)務(wù)增長條件下所產(chǎn)生的更大基礎(chǔ)設(shè)施擴(kuò)展需求的切實(shí)滿足。第四，可以實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)以及強(qiáng)大的計(jì)算能力?？梢詫?shí)現(xiàn)對(duì)來源于在線監(jiān)測設(shè)備、智能電表等多種設(shè)備所采集與產(chǎn)生的大量實(shí)時(shí)性數(shù)據(jù)信息的有效存儲(chǔ)以及在線分析，以此為電網(wǎng)的大規(guī)?？焖僬{(diào)度以及控制工作的優(yōu)化展開提供有力支持。

2 基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的總體架構(gòu)分析

電力調(diào)度系統(tǒng)的規(guī)模相對(duì)較大且分布廣泛，實(shí)際承擔(dān)著的調(diào)度任務(wù)較多，對(duì)于實(shí)時(shí)性的要求也保持在更高水平。同時(shí)，大量調(diào)度業(yè)務(wù)的展開均針對(duì)本區(qū)域內(nèi)的電網(wǎng)完成，如果在整個(gè)系統(tǒng)云內(nèi)提交所有區(qū)域的業(yè)務(wù)計(jì)算，勢必會(huì)產(chǎn)生極為嚴(yán)重的網(wǎng)絡(luò)阻塞，無法切實(shí)滿足實(shí)時(shí)性要求，也會(huì)產(chǎn)生一定的資源浪費(fèi)問題。就當(dāng)前電力系統(tǒng)的分級(jí)調(diào)度而言，其層次性較為明顯、清晰，可以此為切入點(diǎn)完成智能電網(wǎng)云計(jì)算調(diào)度體系的構(gòu)建，合理協(xié)調(diào)電力系統(tǒng)資源，提升智能電網(wǎng)調(diào)度云計(jì)算平臺(tái)的資源利用率。在此基礎(chǔ)上，結(jié)合對(duì)這種具備較多層次的云平臺(tái)的應(yīng)用，促使冗余的數(shù)據(jù)備份成為現(xiàn)實(shí)?；谶@樣的情況，可以完成三級(jí)智能調(diào)度云體系結(jié)構(gòu)的搭建，如圖1所示。

圖1 基于云計(jì)算的智能調(diào)度體系架構(gòu)圖

結(jié)合智能電網(wǎng)調(diào)度云計(jì)算數(shù)據(jù)中心的構(gòu)建需求與目標(biāo)、相關(guān)技術(shù)與理論支持，完成基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的總體架構(gòu)的構(gòu)建，如圖2所示。在本研究所設(shè)計(jì)的基于Hadoop的智能調(diào)度云數(shù)據(jù)中心內(nèi)，可以進(jìn)一步細(xì)化出應(yīng)用接口層、高級(jí)應(yīng)用層、平臺(tái)服務(wù)層、基礎(chǔ)設(shè)施層這幾個(gè)層次，每一個(gè)層次均為上一個(gè)層次提供服務(wù)［1］。其中，應(yīng)用接口層主要承擔(dān)著接入電力系統(tǒng)內(nèi)部網(wǎng)的任務(wù)，同時(shí)提供用戶認(rèn)證、訪問控制、Web Service等服務(wù)；高級(jí)應(yīng)用層主要提供穩(wěn)態(tài)分析、經(jīng)濟(jì)評(píng)估、網(wǎng)損計(jì)算、潮流分析、狀態(tài)分析、EMS等服務(wù)；平臺(tái)服務(wù)層內(nèi)包含著并行編程模型、云計(jì)算測試開發(fā)工具等，主要提供數(shù)據(jù)管理服務(wù)，具體而言，可以實(shí)現(xiàn)數(shù)據(jù)維護(hù)、版本管理以及日志管理等功能；基礎(chǔ)設(shè)施層主要可以劃分為基礎(chǔ)軟件以及基礎(chǔ)硬件這兩部分，在基礎(chǔ)軟件內(nèi)包含操作系統(tǒng)、虛擬化管理軟件、分布式文件系統(tǒng)、狀態(tài)監(jiān)測等，基礎(chǔ)硬件內(nèi)包含大規(guī)模計(jì)算機(jī)集群、海量數(shù)據(jù)存儲(chǔ)系統(tǒng)、高速通信網(wǎng)等等。

圖2 基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的總體系架構(gòu)圖

3 基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的具體結(jié)構(gòu)設(shè)計(jì)與實(shí)現(xiàn)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)比分析多種網(wǎng)絡(luò)結(jié)構(gòu)，能夠了解到BCube網(wǎng)絡(luò)結(jié)構(gòu)所具備的應(yīng)用優(yōu)勢更為明顯，但是將其引入智能電網(wǎng)調(diào)度云計(jì)算數(shù)據(jù)中心內(nèi)，依然會(huì)表現(xiàn)出一定的不足與缺陷，具體有：第一，該網(wǎng)絡(luò)結(jié)構(gòu)以服務(wù)器為中心，主要應(yīng)用服務(wù)器實(shí)現(xiàn)執(zhí)行路由，促使服務(wù)器實(shí)際所承擔(dān)著的任務(wù)負(fù)載大幅度增加，使得server的可用帶寬顯著下降，網(wǎng)絡(luò)延遲更為明顯［2］。第二，該網(wǎng)絡(luò)結(jié)構(gòu)實(shí)際具備的擴(kuò)展性偏低，僅僅能夠支持4096臺(tái)服務(wù)器。但是，對(duì)于智能調(diào)度云數(shù)據(jù)中心而言，其實(shí)際包含著上萬臺(tái)甚至是上百萬臺(tái)服務(wù)器，無法滿足擴(kuò)展性要求。

基于這樣的情況，在本次進(jìn)行基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的設(shè)計(jì)與構(gòu)建期間，圍繞上述缺陷對(duì)BCube網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化調(diào)整，生成PCube網(wǎng)絡(luò)結(jié)構(gòu)算法，并將其設(shè)定為本智能調(diào)度云數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu)。

在PCube網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)，任意一個(gè)server外邊均對(duì)應(yīng)一個(gè)swtich的連接，在swtich的支持下實(shí)現(xiàn)對(duì)流量的轉(zhuǎn)發(fā)，此時(shí)流量并不通過server完成處理?；诖耍梢詫wtich簡單理解為server的轉(zhuǎn)發(fā)代理。實(shí)際上，swtich可以切實(shí)參考實(shí)際所需要完成的擴(kuò)展性要求，為1～4個(gè)server提供代理服務(wù)。對(duì)于PCube網(wǎng)絡(luò)結(jié)構(gòu)而言，也包含在遞歸網(wǎng)絡(luò)結(jié)構(gòu)的范疇內(nèi)，主要由兩種設(shè)備構(gòu)成，即商用小型交換機(jī)、單口server。單一小的n口swtich與n個(gè)swtichp的連接、任意一個(gè)swtichp連接單個(gè)server，能夠構(gòu)成PCube0；n個(gè)PCube0以及n個(gè)n-port的swtich共同構(gòu)成PCube1；n個(gè)PCubek-1以及n個(gè)n-port的swtich共同構(gòu)成PCubek。

在構(gòu)建PCubek期間，需要完成的主要操作步驟如下所示：利用n＋1個(gè)swtich以及n個(gè)server共同構(gòu)成PCube0；在該層中，直接連接第i個(gè)swtich以及第i個(gè)server，在k不低于1的條件下，n個(gè)PCubek-1能夠構(gòu)成PCubek；利用0至n-1的數(shù)字標(biāo)記n個(gè)PCubek-1，利用0至nk-1的數(shù)字標(biāo)記每一個(gè)PCubek-1中包含著的swtichp；進(jìn)行連接處理，在第k層第i個(gè)swtich的第j個(gè)端口上，連接第j個(gè)PCubek-1中的第i個(gè)swtichp；在n取值為4、k取值為1的條件下，搭建起的PCube1結(jié)構(gòu)如圖3所示。

圖3 PCube1結(jié)構(gòu)圖

3.2 數(shù)據(jù)存放

（1）任務(wù)調(diào)度與副本復(fù)制集成

在用戶層范圍內(nèi)，不同的調(diào)度員實(shí)際所完成的調(diào)度任務(wù)不盡相同，由Hadoop集群的Namenode節(jié)點(diǎn)統(tǒng)一實(shí)現(xiàn)對(duì)任務(wù)的統(tǒng)一提交；對(duì)于Namenode節(jié)點(diǎn)而言，其主要依照既定的任務(wù)調(diào)度策略，在多個(gè)不同的Data Node上分發(fā)不同的計(jì)算任務(wù)。計(jì)算以及存儲(chǔ)任務(wù)的執(zhí)行均由Data Node完成。本地或是其他計(jì)算節(jié)點(diǎn)為計(jì)算任務(wù)的展開提供所需要的數(shù)據(jù)，基于這樣的情況，在本地內(nèi)未存儲(chǔ)相應(yīng)數(shù)據(jù)時(shí)，還要進(jìn)一步執(zhí)行數(shù)據(jù)請求任務(wù)，按照設(shè)定的副本策略，由Data Node落實(shí)對(duì)多個(gè)副本的存儲(chǔ)任務(wù)的執(zhí)行。

（2）CoHadoop副本存放

在文件系統(tǒng)內(nèi)進(jìn)行新文件的創(chuàng)設(shè)期間，Namenode會(huì)迅速在Locator Table內(nèi)落實(shí)表中是否已經(jīng)納入了對(duì)應(yīng)文件所具備的Locator值的表項(xiàng)查找，若是發(fā)現(xiàn)存在對(duì)應(yīng)文件所具備的Locator值，則迅速在該表項(xiàng)的文件列表內(nèi)加入相應(yīng)文件；在其他文件所在的Data Node中，所包含著的存儲(chǔ)空間充足的Data Node節(jié)點(diǎn)實(shí)現(xiàn)對(duì)文件數(shù)據(jù)塊的保存。若是發(fā)現(xiàn)不存在對(duì)應(yīng)文件所具備的Locator值，則迅速在Locator表內(nèi)落實(shí)一項(xiàng)新記錄的創(chuàng)設(shè)，應(yīng)用（Locator，F(xiàn)ile）的形式；切實(shí)參考HDFS默認(rèn)的存儲(chǔ)策略，將相應(yīng)文件塊的三個(gè)副本在不同的機(jī)架內(nèi)存儲(chǔ)。

（3）基于數(shù)據(jù)挖掘的數(shù)據(jù)副本存放

CoHadoop使得原有的數(shù)據(jù)存儲(chǔ)策略發(fā)生改變，但是，其單純能夠讓應(yīng)用自行完成對(duì)相關(guān)文件的確定與選擇，隨后針對(duì)相關(guān)文件進(jìn)行同樣的Locator的設(shè)定［3］。但是，結(jié)合對(duì)智能電網(wǎng)調(diào)度的現(xiàn)實(shí)任務(wù)展開情況來看，大量應(yīng)用需要利用其他數(shù)據(jù)庫相關(guān)文件資料、歷史數(shù)據(jù)資料?；诖?，應(yīng)用難以在初始化運(yùn)行期間對(duì)相應(yīng)文件相關(guān)做出決定，此時(shí)需要一種方法，依托對(duì)Hadoop集群的利用，實(shí)現(xiàn)對(duì)文件相關(guān)情況的智能判斷，以此實(shí)現(xiàn)對(duì)HDFS的存儲(chǔ)效率的優(yōu)化，推動(dòng)應(yīng)用運(yùn)行期間IO的效率性提升。

運(yùn)用算法掃描數(shù)據(jù)庫落實(shí)第一棵FP-樹的生成，在此基礎(chǔ)上，算法會(huì)多次遍歷該FP-樹并實(shí)現(xiàn)對(duì)新FP-樹的構(gòu)建。在此過程中，實(shí)際所消耗的內(nèi)存資源以及CPU保持在相對(duì)較高的水平。對(duì)于條件樹TX的項(xiàng)目投標(biāo)中的所有項(xiàng)，在遍歷2次TX的條件下實(shí)現(xiàn)條件FP-樹TXU｛i｝的生成；在完成第一次遍歷后，可以確定出所有包含在條件模式內(nèi)的頻繁項(xiàng)集；進(jìn)行項(xiàng)目表頭的建立，推動(dòng)FP-樹初始化；結(jié)合第二次遍歷實(shí)現(xiàn)新樹的生成。在FP-數(shù)組的算法的支持下，能夠促使遍歷FP-樹的次數(shù)有所降低，實(shí)現(xiàn)對(duì)CPU資源的更好節(jié)約，使得遍歷時(shí)間顯著縮減。在初始化TX期間，需要讓其包含一個(gè)新的屬性。

在智能調(diào)度系統(tǒng)內(nèi)，可能會(huì)使用相同文件中的數(shù)據(jù)展開對(duì)不同調(diào)度任務(wù)的計(jì)算，單一以此任務(wù)的執(zhí)行可以直觀理解為一個(gè)事件T，調(diào)度時(shí)所需要的文件設(shè)定為A、B、C等，在多次任務(wù)的執(zhí)行后，會(huì)生成形式為下表的數(shù)據(jù)集，結(jié)合FP挖掘算法的應(yīng)用，可以在相應(yīng)數(shù)據(jù)集內(nèi)提煉出文件的相關(guān)性，同時(shí)給予相關(guān)文件以同樣的Locator。

3.3 任務(wù)調(diào)度

（1）Map Reduce

對(duì)于Map Reduce而言，其屬于一種可以實(shí)現(xiàn)海量數(shù)據(jù)處理的編程模型，在大型集群中能夠?yàn)閷?duì)應(yīng)程序的順利運(yùn)行提供有力支持，同時(shí)也可以在進(jìn)行大數(shù)據(jù)處理期間發(fā)揮出理想的容錯(cuò)能力［4］。在Map Reduce的工作期間，主要向大量的機(jī)器內(nèi)分發(fā)待處理的海量數(shù)據(jù)；結(jié)合用戶的要求，將數(shù)據(jù)轉(zhuǎn)變?yōu)椋糑ey，Value＞對(duì)并實(shí)現(xiàn)保存。實(shí)際中，Map Reduce向集群內(nèi)的所有塊服務(wù)器分發(fā)任務(wù)；在本地服務(wù)器內(nèi)對(duì)分發(fā)的任務(wù)實(shí)施并行處理；針對(duì)獲取到的結(jié)果展開第一步合并操作；按照一定映射規(guī)則，各個(gè)塊服務(wù)器將得到的結(jié)果傳遞至指定機(jī)器內(nèi)，實(shí)施合并處理；在指定的塊服務(wù)器內(nèi)，獲取對(duì)應(yīng)的處理結(jié)果。

（2）任務(wù)調(diào)度算法

在本次基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的設(shè)計(jì)與構(gòu)建期間，主要針對(duì)公平任務(wù)調(diào)度算法進(jìn)行改進(jìn)，以此為任務(wù)調(diào)度的實(shí)現(xiàn)提供支持。此時(shí)，所應(yīng)用的更新缺額計(jì)算方法如下所示：

其中，time Delay代表著任務(wù)等待時(shí)間；time Used代表著任務(wù)運(yùn)行時(shí)間。依托這樣的參數(shù)選擇，能夠避免計(jì)算時(shí)間對(duì)已經(jīng)運(yùn)行時(shí)間很少、等待時(shí)間較短的任務(wù)，降低缺額最小化問題的發(fā)生概率。

進(jìn)一步應(yīng)用模擬退火智能算法完成對(duì)最優(yōu)解的獲取，更新作業(yè)選擇策略。使用的已完成作業(yè)的總時(shí)間計(jì)算方法如下式所示：

其中，第j個(gè)pool中第i個(gè)作業(yè)的已運(yùn)行時(shí)間使用t（i，j）表示，i取值為1，2，…，n；j取值為1，2，…，m。在沒有作業(yè)運(yùn)行時(shí)，已完成作業(yè)的總時(shí)間為0。

在相同的pool內(nèi)，作業(yè)隊(duì)列運(yùn)行時(shí)間保持在相對(duì)平均的狀態(tài)。使用下式完成對(duì)某一隊(duì)列已經(jīng)完成運(yùn)行作業(yè)的平均時(shí)間，即有：

目標(biāo)函數(shù)為：

其中，α和β均保持在0～1的范圍內(nèi)。

建立如下的數(shù)據(jù)模型：

設(shè)定當(dāng)前解為Si＝S；設(shè)定新產(chǎn)生的解為Si＋1；

4 結(jié)束語

綜上所述，結(jié)合智能電網(wǎng)調(diào)度云計(jì)算數(shù)據(jù)中心的構(gòu)建需求與目標(biāo)、相關(guān)技術(shù)與理論支持，形成應(yīng)用接口層、高級(jí)應(yīng)用層、平臺(tái)服務(wù)層、基礎(chǔ)設(shè)施層這幾個(gè)層次，以此搭建起基于Hadoop的智能調(diào)度云數(shù)據(jù)中心的總體架構(gòu)的構(gòu)建。同時(shí)，通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)以及任務(wù)調(diào)度算法，提升智能調(diào)度云數(shù)據(jù)中心的性能水平。