趙彥陽，惠小東，金鑫

（南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣東廣州 510670）

分析輸變電設(shè)備狀態(tài)對于確保電網(wǎng)正常運(yùn)行有重要意義，研究內(nèi)容包括電氣信息、絕緣信息、機(jī)械信息和化學(xué)信息。目前，相關(guān)學(xué)者對于輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測進(jìn)行了大量研究，并且根據(jù)研究特性將監(jiān)測分為絕緣在線監(jiān)測、GIS 局放在線監(jiān)測、變壓器油色譜在線監(jiān)測[1]。上述監(jiān)測方法主要是針對電網(wǎng)的局部特征進(jìn)行監(jiān)測，利用能量管理分析電網(wǎng)所運(yùn)行的各種信息，在確定電網(wǎng)各項(xiàng)設(shè)備的技術(shù)參數(shù)后，得到檢修測試報(bào)告，從而為狀態(tài)監(jiān)測提供支持[2]。

雖然目前研究了大量輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎，但是由于搜索的信息種類復(fù)雜，選擇的信息模型基準(zhǔn)不同，所以在匹配時(shí)會存在很大差異，難以輕松地確定匹配對象，而且當(dāng)前的搜索引擎都為在線引擎，必須要利用輸變電設(shè)備內(nèi)部的系統(tǒng)來分析軟件才能實(shí)現(xiàn)開發(fā)接口互相關(guān)聯(lián)。由于得到的在線監(jiān)測數(shù)據(jù)十分零散，難以共享到其他系統(tǒng)，所以很難實(shí)現(xiàn)整體管理。從輸電網(wǎng)數(shù)據(jù)配置劃分上可知，傳統(tǒng)的搜索引擎在數(shù)據(jù)標(biāo)準(zhǔn)性分析和開放性方面仍然存在很多問題[3]。

文中對現(xiàn)有的輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎進(jìn)行優(yōu)化研究，分析輸電網(wǎng)的整合變壓器、覆冰狀態(tài)、雷電狀態(tài)和電能質(zhì)量信息，使用驅(qū)動開發(fā)方法對信息進(jìn)行匯集、轉(zhuǎn)換和發(fā)布，建立擴(kuò)展模型，從而實(shí)現(xiàn)現(xiàn)行標(biāo)準(zhǔn)化，增強(qiáng)搜索引擎的擴(kuò)展性和開放性。

1 搜索引擎架構(gòu)優(yōu)化

目前的輸變電狀態(tài)數(shù)據(jù)監(jiān)測系統(tǒng)使用的架構(gòu)網(wǎng)絡(luò)多為串行網(wǎng)絡(luò)，結(jié)構(gòu)比較復(fù)雜，一旦通信鏈路的任何一個(gè)環(huán)節(jié)出現(xiàn)問題，就會導(dǎo)致整個(gè)監(jiān)控網(wǎng)絡(luò)出現(xiàn)故障，降低數(shù)據(jù)傳輸?shù)目煽啃?。由于傳輸難度不同，所以部分監(jiān)測數(shù)據(jù)均需要多次轉(zhuǎn)發(fā)，通過多次轉(zhuǎn)發(fā)上傳到網(wǎng)絡(luò)主站，影響傳輸?shù)膶?shí)時(shí)性[4]。監(jiān)測裝置與主站之間存在多個(gè)通信協(xié)議，各種私有協(xié)議不斷出現(xiàn)，使主站端的接口越來越復(fù)雜，廠家與廠家之間的監(jiān)測數(shù)據(jù)形成孤島，無法快速搜索到相關(guān)數(shù)據(jù)[5]。

為了解決當(dāng)前搜索引擎架構(gòu)復(fù)雜、實(shí)時(shí)性差、可靠性低、通信規(guī)約不統(tǒng)一等問題，在傳統(tǒng)搜索引擎的基礎(chǔ)上進(jìn)行優(yōu)化，構(gòu)建扁平化搜索引擎架構(gòu)，如圖1所示。

圖1 輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎優(yōu)化架構(gòu)圖

文中設(shè)計(jì)的搜索引擎架構(gòu)在層次上進(jìn)行了優(yōu)化，使用IEC 61850 標(biāo)準(zhǔn)接口對不同層次的數(shù)據(jù)進(jìn)行通信。文中設(shè)計(jì)的搜索引擎使用的通信模式為“一發(fā)雙收”的模式，得到的通信信息能夠同時(shí)向省級主站和網(wǎng)級主站發(fā)送，每個(gè)網(wǎng)絡(luò)端的綜合處理單元都可以直接與主站通信，網(wǎng)絡(luò)主站數(shù)據(jù)的傳輸節(jié)點(diǎn)被大大縮小，節(jié)點(diǎn)與節(jié)點(diǎn)之間可以直接進(jìn)行數(shù)據(jù)通訊，省略了節(jié)點(diǎn)之間的數(shù)據(jù)轉(zhuǎn)換，扁平化的搜索引擎實(shí)現(xiàn)了在線搜索[6]。

在該搜索引擎模型中，使用了IEC 61850 協(xié)議，變電站的各監(jiān)測裝置數(shù)據(jù)通過該協(xié)議匯集到處理單元中，省級主站和網(wǎng)級主站可以同時(shí)發(fā)送監(jiān)測信息，用戶通過該搜索引擎可以實(shí)現(xiàn)查詢、查看、下載等工作[7]。

搜索引擎在使用扁平架構(gòu)后，搜索數(shù)據(jù)時(shí)傳輸?shù)燃壘偷玫搅擞行Ы档停阉鲗?shí)時(shí)性得到顯著提高，數(shù)據(jù)的所有上傳通道都互相成為對方的備用通道，數(shù)據(jù)傳輸過程中如果一個(gè)通道出現(xiàn)問題，其他通道也可以使用，保證了數(shù)據(jù)傳輸?shù)目煽啃浴Ｋ阉饕鎯?nèi)部的綜合處理單元將所有的監(jiān)測數(shù)據(jù)匯集到一起，網(wǎng)級主站和省級主站的描述具備一致性，數(shù)據(jù)融合效果好，分析能力高[8]。

2 搜索引擎存儲優(yōu)化

2.1 數(shù)據(jù)分布優(yōu)化

在對輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)進(jìn)行關(guān)聯(lián)數(shù)據(jù)搜索時(shí)，執(zhí)行的查詢方式為MapReduce，通過分析數(shù)據(jù)與數(shù)據(jù)之間的相關(guān)性來執(zhí)行Hadoop 布局方案。設(shè)定映射階段，將得到的數(shù)據(jù)在所有節(jié)點(diǎn)上重新分組、排序，利用遠(yuǎn)程訪問的方式拉取數(shù)據(jù)[9]。為防止大量與操作無關(guān)的數(shù)據(jù)在網(wǎng)絡(luò)傳輸中被復(fù)制，甚至被上傳，將所有的數(shù)據(jù)根據(jù)數(shù)據(jù)屬性放在同一個(gè)節(jié)點(diǎn)上，利用映射實(shí)現(xiàn)連接，減少不必要的數(shù)據(jù)通訊，提高整體的執(zhí)行效率[10-11]。

基于一致哈希方法的數(shù)據(jù)搜索引擎分布優(yōu)化過程如圖2 所示。

圖2 基于一致哈希方法的數(shù)據(jù)搜索引擎分布優(yōu)化過程

根據(jù)圖2 可知，數(shù)據(jù)在第一個(gè)副本中會確定采集裝置的ID，根據(jù)得到的采集裝置ID 實(shí)現(xiàn)哈希映射；在第二個(gè)副本中可以得到采集時(shí)間，根據(jù)確定的采集時(shí)間實(shí)現(xiàn)哈希映射；在第三個(gè)副本中可以得到數(shù)據(jù)之間的自定義關(guān)系，根據(jù)自定義關(guān)系實(shí)現(xiàn)哈希映射[12-13]。根據(jù)上述3 個(gè)副本的映射結(jié)構(gòu)來進(jìn)行綜合分析，從而滿足不同搜索要求和數(shù)據(jù)查詢要求[14]。監(jiān)測數(shù)據(jù)使用的相關(guān)系數(shù)是研究的重要屬性，為更好地確保自定義相關(guān)性，要根據(jù)上層應(yīng)用程序?qū)π枨筮M(jìn)行賦值。

文中提出的優(yōu)化算法為多副本一致性哈希數(shù)據(jù)存儲算法，該算法利用數(shù)據(jù)相關(guān)性將所有的數(shù)據(jù)集中存儲到一起。在對數(shù)據(jù)進(jìn)行分析和查詢時(shí)，所有主要的搜索查詢工作都會被放在映射端，由映射端統(tǒng)一執(zhí)行，從而降低由映射到通信過程的網(wǎng)絡(luò)負(fù)載量，確保引擎可以在短時(shí)間內(nèi)實(shí)現(xiàn)查詢和分析[15]。

不同類型的輸變電設(shè)備現(xiàn)場監(jiān)測數(shù)據(jù)所擁有的數(shù)據(jù)類型和數(shù)據(jù)格式不同，但是所有的監(jiān)測數(shù)據(jù)都具備時(shí)空特性，每一個(gè)傳感器的采樣數(shù)據(jù)都會對應(yīng)一個(gè)與之匹配的采樣時(shí)間和地點(diǎn)，利用上述的關(guān)鍵字實(shí)現(xiàn)采集。優(yōu)化后的Hadoop 會將數(shù)據(jù)儲存成3 個(gè)副本，從輸變電設(shè)備現(xiàn)場使用的監(jiān)測裝置放置位置、數(shù)據(jù)采集花費(fèi)的時(shí)間和自定義的相關(guān)性來判斷優(yōu)化效果。

使用優(yōu)化算法時(shí)需要建立哈希環(huán)，所建立的哈希環(huán)如圖3 所示。

圖3 哈希環(huán)配置

具體流程描述如下：

1）確定監(jiān)測數(shù)據(jù)之間的相關(guān)系數(shù)，使用冗余副本對監(jiān)測數(shù)據(jù)進(jìn)行預(yù)定義，設(shè)定冗余副本數(shù)量為3；

2）分析每個(gè)集群中的哈希值，得到的哈希點(diǎn)配置到哈希環(huán)不同的區(qū)間中；

3）對監(jiān)測數(shù)據(jù)的時(shí)空屬性和相關(guān)系數(shù)進(jìn)行計(jì)算，從而得到確切的哈希值，分析副本1 的數(shù)據(jù)來源，確定監(jiān)測ID，計(jì)算得到哈希值1，以映射的方法復(fù)制在哈希環(huán)上；分析副本2 的時(shí)間屬性，計(jì)算得到哈希值2，將時(shí)間戳映射在哈希環(huán)上；分析副本3 的相關(guān)系數(shù)，得到對應(yīng)的哈希值3[17]，映射方式為依次映射；

4）通過所得到的數(shù)據(jù)哈希值和數(shù)據(jù)節(jié)點(diǎn)哈希值確定數(shù)據(jù)所存儲的位置，以順時(shí)針的方式實(shí)現(xiàn)映射；

5）如果數(shù)據(jù)存放的節(jié)點(diǎn)出現(xiàn)異?，F(xiàn)象，要將這一節(jié)點(diǎn)跳過，存到下一節(jié)點(diǎn)。

2.2 拓?fù)鋬?yōu)化

數(shù)據(jù)的讀取內(nèi)容主要為名字節(jié)點(diǎn)，分析數(shù)據(jù)節(jié)點(diǎn)和客戶端之間的距離，從而確保從最近的節(jié)點(diǎn)讀取到數(shù)據(jù)內(nèi)容，提高讀取時(shí)間。在搜索引擎網(wǎng)絡(luò)節(jié)點(diǎn)中，Hadoop 以樹狀結(jié)構(gòu)分布，每棵子樹的根節(jié)點(diǎn)都與計(jì)算機(jī)的交換節(jié)點(diǎn)連接到一起，設(shè)定節(jié)點(diǎn)之間的距離為一個(gè)節(jié)點(diǎn)到另一個(gè)節(jié)點(diǎn)所經(jīng)歷的跳數(shù)[18]。Hadoop 集群示例如圖4 所示。

圖4 Hadoop集群示例

分析圖4 可知，Hadoop 所有的默認(rèn)配置節(jié)點(diǎn)都會被統(tǒng)一到一個(gè)框架中，在分析出實(shí)際集群的配置效果后，以拓?fù)涞姆绞綄⒐?jié)點(diǎn)網(wǎng)絡(luò)傳遞給Hadoop，確保數(shù)據(jù)以合理的方式讀取和寫入。

3 實(shí)驗(yàn)研究

為了驗(yàn)證文中研究的輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎的工作效果，與傳統(tǒng)的搜索引擎進(jìn)行實(shí)驗(yàn)對比，通過多數(shù)據(jù)源連接并行查詢實(shí)驗(yàn)驗(yàn)證文中設(shè)定的搜索引擎的優(yōu)越性。

使用的搜索方式為3 種：第一種為全連接搜索，在搜索時(shí)不設(shè)定查詢條件，分析設(shè)備ID，查詢所有輸變電設(shè)備的綜合信息，確定設(shè)備的查詢條件；第二種為半連接搜索方式，查詢設(shè)備ID 從而確定不同范圍的監(jiān)測綜合信息；第三種為時(shí)間搜索。針對這3 種搜索方式進(jìn)行實(shí)驗(yàn)對比，分析搜索時(shí)間，得到的實(shí)驗(yàn)結(jié)果如圖5、6 所示。

圖5 運(yùn)行時(shí)間對比實(shí)驗(yàn)圖

相比較于傳統(tǒng)的搜索引擎，文中研究的搜索引擎?zhèn)鬏斔俾矢?，傳統(tǒng)搜索引擎的數(shù)據(jù)傳輸平均速率為19.8 M/s，文中搜索引擎的數(shù)據(jù)傳輸平均速率為21.2 M/s。該搜索引擎采用的分布方式為優(yōu)化分布，傳統(tǒng)的搜索引擎采用的分布方式為隨機(jī)分布。

根據(jù)圖6 可知，隨著規(guī)模數(shù)據(jù)的增長，運(yùn)行時(shí)間也在增長，數(shù)據(jù)處理的速度都有所提升，文中研究的搜索引擎在處理過程中基本不會受到網(wǎng)絡(luò)通信帶寬的影響，算法性能基本穩(wěn)定。

圖6 運(yùn)行時(shí)間對比圖

文中研究的搜索引擎可以分析輸變電設(shè)備現(xiàn)場監(jiān)測的主屬性、時(shí)間戳和相關(guān)系數(shù)，分析數(shù)據(jù)使數(shù)據(jù)能夠在集群中聚集，從而提高搜索引擎的實(shí)時(shí)性。文中搜索引擎對傳統(tǒng)算法進(jìn)行改變，使用的編程方法為MapReduce 并行編程，同時(shí)使用多通道數(shù)據(jù)融合，提高數(shù)據(jù)搜索的執(zhí)行速度。

4 結(jié)束語

文中以開放性標(biāo)準(zhǔn)研究了一種新的輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測引擎，在架構(gòu)和存儲方式上進(jìn)行了優(yōu)化，利用扁平架構(gòu)對設(shè)備進(jìn)行優(yōu)化。使用Hadoop 分布數(shù)據(jù)，數(shù)據(jù)分布標(biāo)準(zhǔn)為IEC 61850 標(biāo)準(zhǔn)，實(shí)現(xiàn)數(shù)據(jù)共享，降低監(jiān)測裝置的監(jiān)測難度，使引擎內(nèi)部的所有數(shù)據(jù)都能夠轉(zhuǎn)發(fā)。

文中研究的引擎裝置驗(yàn)證實(shí)驗(yàn)由于受到實(shí)驗(yàn)數(shù)據(jù)和實(shí)驗(yàn)規(guī)模的限制，所以采集的數(shù)據(jù)集僅為GB 規(guī)模，雖然能夠反映出算法的運(yùn)行時(shí)間變化趨勢，但是數(shù)據(jù)量還是相對較小，下一步應(yīng)該向著TB 數(shù)據(jù)規(guī)模展開分析與研究。