屈志堅，趙 亮，2，范明明

(1.華東交通大學 電氣與自動化工程學院，江西 南昌 330013；2.常州市軌道交通發(fā)展有限公司，江蘇 常州 213000)

近年來，四電綜合集成技術在我國干線電氣化鐵道，特別是高速鐵道網(wǎng)中的應用，使鐵道供電運營管理部門將鐵道供電系統(tǒng)所有的重要高、低壓回路幾乎全景納入監(jiān)控范圍[1]，包括線路接觸網(wǎng)開關、牽引變配電設備、鐵道10 kV電力設備、鐵道通信信號電源等，綜合監(jiān)控采集的信號容量成指數(shù)倍激增，鐵道供電測控終端的最高采樣率更是高達2 M以上的級別，系統(tǒng)容量及終端采樣率的大幅提高[2]，使監(jiān)控數(shù)據(jù)體量呈幾何級數(shù)增長，計算機性能的增長速度遠跟不上數(shù)據(jù)體量的膨脹，百萬甚至千萬級的海量監(jiān)測數(shù)據(jù)查詢慢，容易導致卡屏，甚至可能造成關鍵故障信息丟失，威脅鐵道運輸安全[3-4]。因此，迫切需要研究針對海量化的鐵道供電信息的大數(shù)據(jù)快速查詢響應技術[5]。

可以按所規(guī)定要求的時序采樣，將亞秒級到達處理環(huán)節(jié)、滿足量測精度的海量鐵道供電監(jiān)測數(shù)據(jù)稱為準實時數(shù)據(jù)，海量的準實時數(shù)據(jù)通過單線圖界面形式發(fā)布，不僅使存儲海量信息的服務器端調(diào)用負載大，而且容易使界面端的處理延時大幅增加[6-7]。為突破常規(guī)鐵道監(jiān)控界面端快速響應海量準實時數(shù)據(jù)的局限性問題，學術界展開了針對海量數(shù)據(jù)快速查詢方面的研究，主要可以分為兩類，第一類為在界面端主機內(nèi)存中設置Ajax數(shù)據(jù)緩存，提高讀取響應速度的方法，其關鍵是將關系數(shù)據(jù)庫中的鐵道監(jiān)測數(shù)據(jù)緩存到界面端的內(nèi)存數(shù)據(jù)引擎中，使20個并發(fā)界面中的設備圖元更新延時降至50 ms內(nèi)[8]。然而，關系數(shù)據(jù)庫容量受限于TB級，不能支撐更大體量的監(jiān)測數(shù)據(jù)。第二類是將鐵道監(jiān)測數(shù)據(jù)并行存儲到專門的HBase大數(shù)據(jù)集群服務器中，與常規(guī)關系數(shù)據(jù)庫相比，具有更好的擴展性和存儲能力，但HBase按非主行鍵查詢的效率低下，這是由于HBase對非主行鍵采用逐行掃描的方式，每次運行時都需啟動MapReduce依次批處理逐行檢索[9]，這種進程反復重啟和逐行處理查詢的方式易造成服務器端的高延遲。針對大數(shù)據(jù)處理問題，Apache基金會組織發(fā)布了新數(shù)據(jù)引擎Impala組件，通過守護進程避免了MapReduce的啟動開銷[10-11]，若將Ajax數(shù)據(jù)緩存引擎融入到Impala的守護進程中，就可能避免重啟時間消耗，Impala對存儲于HDFS的數(shù)據(jù)采用順序讀取方式訪問，相較于HBase的隨機訪問更為高效。將Ajax界面端數(shù)據(jù)引擎融入Impala守護進程和HDFS順序讀取訪問接口的研究，尚鮮見文獻報道。

本文在鐵道供電系統(tǒng)大數(shù)據(jù)多機集群配置和分布式數(shù)據(jù)采集與存儲的基礎上，結(jié)合Ajax數(shù)據(jù)引擎，推導了鐵道供電監(jiān)測數(shù)據(jù)的集群排隊模型[12-14]，提出監(jiān)測數(shù)據(jù)集群排隊的大數(shù)據(jù)快速查詢處理方法，并以工程系統(tǒng)數(shù)據(jù)為算例進行了驗證。

1 鐵道供電系統(tǒng)數(shù)據(jù)集群處理

鐵道分布式智能供電系統(tǒng)的構建是我國中長期鐵道規(guī)劃順利實施的重要保障，鐵道沿線的車站、信號設備、通信與照明等設施接入了電壓、電流、溫度和覆冰等大量傳感器，采樣頻率也因此越來越高，從而產(chǎn)生了海量數(shù)據(jù)信息，如圖1所示。在電氣化鐵道建設中，四電集成化的全景數(shù)據(jù)采集包括牽引供電系統(tǒng)、鐵道10 kV電力系統(tǒng)、高鐵接觸網(wǎng)隔離開關和通信信號電源系統(tǒng)[15-16]。

圖1 高速鐵道供電系統(tǒng)數(shù)據(jù)集群監(jiān)控處理模式

鐵道供電海量數(shù)據(jù)監(jiān)控主要由調(diào)度監(jiān)控層、數(shù)據(jù)服務層和現(xiàn)場設備層組成，其中調(diào)度監(jiān)控層是指利用網(wǎng)絡直傳方式訪問監(jiān)控界面應用服務器的人機接口層，通過將數(shù)據(jù)緩存至調(diào)度界面端的異步數(shù)據(jù)隊列中進行讀寫訪問，可避免調(diào)度主機監(jiān)控畫面系統(tǒng)繁瑣的配置和界面圖元反復調(diào)用數(shù)據(jù)服務層。現(xiàn)場設備層所采集的海量鐵道供電數(shù)據(jù)經(jīng)前置機處理后，由對象映射表按照時間序列加載至數(shù)據(jù)服務層用于管理數(shù)據(jù)的HDFS/HBase中，其中，HDFS在物理上是分塊存儲(block)，以此給客戶端提供一個統(tǒng)一的抽象目錄樹，HBase則是天然分布式的數(shù)據(jù)庫，使用HDFS作為自己的文件系統(tǒng)。

監(jiān)控服務器利用Ajax數(shù)據(jù)引擎通過中間服務層，不斷以異步的形式訪問鐵道供電多機集群，消息不斷地由集群中各節(jié)點的守護進程接收，形成鐵道供電海量信息的集群隊列模型。

2 鐵道供電信息集群排隊查詢模型

2.1 集群模式下的監(jiān)控應用新框架

鐵道供電監(jiān)控以信息流傳輸處理為主線，包括服務端大數(shù)據(jù)調(diào)用處理和調(diào)度界面端大數(shù)據(jù)刷新處理。對于調(diào)度界面端，Google推出了一種Ajax的GWT應用框架，將面向?qū)ο蠊こ虒W和豐富的ui組件庫融入Java應用，在不重載界面的情況下，遵循“按需取數(shù)”原則，可實現(xiàn)與監(jiān)控應用服務端的大數(shù)據(jù)連接。融合基于GWT組件和專門的Impala大數(shù)據(jù)組件[17]，設計的新型分布式集群監(jiān)控應用框架如圖2所示。

圖2 鐵道供電監(jiān)控的大數(shù)據(jù)集群查詢應用框架

以查詢站所母線電壓為例，監(jiān)控界面以線程輪詢的方式，通過GWT異步調(diào)用接口發(fā)出遙測數(shù)據(jù)查詢請求，如查詢001號站所母線電壓，監(jiān)控應用服務器調(diào)用Servlet容器通過網(wǎng)絡將查詢站所母線電壓命令發(fā)送到鐵道供電Impala監(jiān)控大數(shù)據(jù)集群，工作節(jié)點經(jīng)集群排隊接收信息成為協(xié)調(diào)節(jié)點，從主控節(jié)點處獲取數(shù)據(jù)存儲信息后，產(chǎn)生執(zhí)行計劃樹分配各工作節(jié)點進行查詢，匯總于協(xié)調(diào)節(jié)點后，返回至Servlet容器，為確保監(jiān)控界面端通信數(shù)據(jù)量更小，Ajax數(shù)據(jù)引擎設置響應站所母線電壓的數(shù)據(jù)緩存，若001號站所母線電壓由218 kV變?yōu)?30 kV時，則執(zhí)行回調(diào)函數(shù)將更新的遙測數(shù)據(jù)信息返回并刷新界面；若003號站所母線無變化，則無需返回數(shù)據(jù)。

2.2 監(jiān)控數(shù)據(jù)的集群隊列模型

圖3 兩臺服務器的消息隊列狀態(tài)轉(zhuǎn)移

( 1 )

鐵道供電系統(tǒng)服務器空閑率為

( 2 )

平均隊長

( 3 )

( 4 )

可得平均等待時間和逗留時間為

( 5 )

( 6 )

以集群規(guī)模為n(n>2)作為服務器集群的新一代鐵道大數(shù)據(jù)監(jiān)控系統(tǒng)研制，應用程序可通過輪詢的方式調(diào)取大數(shù)據(jù)集群的數(shù)據(jù)服務接口，從接口返回的信息隊列中獲取準實時數(shù)據(jù)，系統(tǒng)容量與供電調(diào)度信息來源無限制，當調(diào)度信息到達集群時，若集群存在閑置的未成為協(xié)調(diào)節(jié)點的工作節(jié)點，則集群工作節(jié)點立即接收服務并成為協(xié)調(diào)節(jié)點，其消息隊列狀態(tài)轉(zhuǎn)移如圖4所示。

圖4 集群隊列狀態(tài)轉(zhuǎn)移

( 7 )

鐵道供電監(jiān)控系統(tǒng)集群空閑率為

( 8 )

平均隊長

( 9 )

(10)

可得平均等待時間和逗留時間為

(11)

(12)

因此，可以得出集群的規(guī)模越大，其信息流等待時間越短，信息流隊列越短，對于集群的信息流等待時間的平均期望越小，集群處理能力越高，延遲期望越小，則查詢越快，性能越好。

3 集群隊列界面端異步回調(diào)實現(xiàn)流程

通過面向?qū)ο蠓绞皆诮缑婧头掌鲀啥朔謩e封裝Ajax異步請求、遠程調(diào)用服務和回調(diào)服務，通過異步回調(diào)實現(xiàn)鐵道供電海量監(jiān)控信息的異步交互處理。查詢監(jiān)控界面端程序在編譯時會被GWT編譯器通過交叉編譯轉(zhuǎn)換成腳本應用程序，經(jīng)網(wǎng)絡傳回調(diào)度站所的查詢界面，具體查詢流程如圖5所示。

Impala集群查詢各分布式工作節(jié)點之間順序循環(huán)，根據(jù)遙測主控節(jié)點中Hive元數(shù)據(jù)庫與HDFS提供遙測數(shù)據(jù)信息，如站所、采集時間、模擬量信息等。大數(shù)據(jù)子查詢準確地訪問每個遙測工作節(jié)點，將每個遙測工作節(jié)點查詢到的遙測數(shù)據(jù)通過異步回調(diào)接口，并快速載入刷新界面。

圖5 監(jiān)控界面的服務器端集群查詢流程

4 集群環(huán)境下的算例測試

4.1 算例測試集群環(huán)境的搭建

以石德線一套雙回10 kV配電網(wǎng)遠動調(diào)度自動化監(jiān)控系統(tǒng)的工程數(shù)據(jù)為算例，其供電示意圖如圖6所示，包括石家莊至晉州、晉州至衡水和衡水至德州供電區(qū)段3個配電網(wǎng)供電臂。

圖6 鐵道10kV配電網(wǎng)供電算例的示意

首先建立由主控節(jié)點和3個工作節(jié)點構成的分布式調(diào)度監(jiān)控四機集群，并以異步查詢服務器作為測試機，利用GWT框架設計的富網(wǎng)絡供電調(diào)度監(jiān)控界面對工程導出的監(jiān)控大數(shù)據(jù)進行測試，各集群節(jié)點配置見表1。

表1 分布式調(diào)度監(jiān)控的集群實驗環(huán)境

以監(jiān)控系統(tǒng)下屬站所中時間、站所ID、地址、模擬量作為遙測數(shù)據(jù)表單快速查詢處理，并載入測試調(diào)度站瀏覽器，在Impala集群查詢遙測數(shù)據(jù)一定的條件下，以Ajax平臺的GWT框架作為鐵道供電監(jiān)控界面端，考察在查詢實例中集群工作節(jié)點數(shù)、內(nèi)存大小等對查詢速度的影響。研究不同規(guī)模、性能及查詢密度的集群將遙測數(shù)據(jù)表加載至調(diào)度站所服務器界面的影響。

4.2 集群CPU使用率對查詢性能的影響

以查詢3.0×107條遙測數(shù)據(jù)為例，查詢服務測試機以Firefox作為界面監(jiān)控界面測試容器，設置4臺集群分別每10 s查詢一次、20 s查詢一次，關閉2臺工作節(jié)點以每10 s查詢一次進行實驗，與傳統(tǒng)兩臺服務器進行比較實驗，每次實驗以間隔1 min周期采樣方式，連續(xù)采樣20 min。觀測4種不同集群工作狀態(tài)，即{(四機集群，10 s)；(四機集群，20 s)；(二機集群，10 s)；(二機集群，20 s)}的集群條件，統(tǒng)計Impala集群查詢結(jié)束時的平均處理延時，結(jié)果如圖7所示，4次查詢實例20 min的平均延時均可控制在280～310 ms，滿足準實時處理1 s內(nèi)的應用查詢需求。

圖7 平均查詢時間(20 min)

由圖7可知，集群規(guī)模相同的情況下，查詢密度對監(jiān)控集群的查詢時間影響不大，但集群規(guī)模對查詢時間有一定影響，在10 s和20 s的查詢間隔條件下，四機集群比兩臺服務器查詢的時間分別減少了27.2 ms、17.4 ms。

4.3 集群CPU影響測試

在4.2節(jié)中提取三組進行實驗，即{Ⅰ(四機集群，10 s)；Ⅱ(四機集群，20 s)；Ⅲ(二機集群，10 s)}，在此基礎上，將主控節(jié)點內(nèi)存由24 GB減至為16 GB，同樣進行三組實驗，連續(xù)采樣20 min，每分鐘記錄一次CPU的使用率，六組實驗結(jié)果如圖8所示。

由圖8可知，在集群主控節(jié)點內(nèi)存分別為24 GB和16 GB的情況下，集群CPU在20 min的平均使用率分別為{10.74%、9.75%、20.81%}和{10.34%、10.02%、19.14%}，由此可以得出，集群CPU使用率受主控節(jié)點內(nèi)存的影響相對較小，但受集群規(guī)模影響較大。

(a)集群主節(jié)點內(nèi)存為24 GB對CPU使用率影響

(b)集群主節(jié)點內(nèi)存為16 GB對CPU使用率影響圖8 集群對CPU使用率影響

以本次實驗四機集群系統(tǒng)為例，對鐵道監(jiān)控準實時大數(shù)據(jù)信息的輪詢模型進行分析。4臺準實時大數(shù)據(jù)服務器，查詢測試機以1 s的時間間隔以數(shù)據(jù)服務接口的形式輪詢一次集群(即λ=1次/s)，集群以每秒1次的速率處理調(diào)用接口并返回查詢到的信息，考察查詢機所需平均等待時間。

根據(jù)式( 7 )～式(12)可得

關閉兩臺工作節(jié)點，計算得到常規(guī)兩臺服務器并列運行時的系統(tǒng)參數(shù)。同理可得

可見，相較于常規(guī)的兩臺數(shù)據(jù)服務器模式中平均隊長為1，四機集群情況下的平均隊長只有0.019，集群模式下能夠更快速的處理信息，并且集群模式下，無論是平均等待時間及逗留時間等指標同樣具有明顯的優(yōu)勢。

4.4 集群穩(wěn)定查詢密度的標準差測試

標準差是表征集群隊列查詢穩(wěn)定性的重要指標，標準差越小表示集群查詢越平穩(wěn)、波動越小，意味著影響越小。為了進一步獲得CPU查詢密度對集群系統(tǒng)處理的影響，獲取3次集群實驗20 min內(nèi)每分鐘的標準差，如圖9所示。

(a)(24 GB，2臺，10 s)20 min誤差分布

(b)(24 GB，4臺，10 s)20 min誤差分布

(c)(24 GB，4臺，20 s)20 min誤差分布圖9 20 min內(nèi)標準差比較

由圖9得到的(a)、(b)兩組實驗數(shù)據(jù)可得，在20 min內(nèi)每間隔10 s查詢一次條件下，與兩臺服務器并列運行情況比較，四機集群的標準差波動更小，新的集群監(jiān)控方法優(yōu)于傳統(tǒng)的兩臺服務器的架構方法。

同時，由圖9得到的(b)、(c)兩組實驗數(shù)據(jù)可得，在四機集群的情況下，分別在20 min內(nèi)以10 s和20 s為查詢間隔，得到的標準差波動并無明顯的差別。

5 結(jié)論

(1)綜合運用組件容器嵌入Ajax數(shù)據(jù)引擎，通過網(wǎng)絡與Impala集群組件進行大數(shù)據(jù)的快速交互技巧，驗證了監(jiān)控界面端與鐵道供電大數(shù)據(jù)快速交互的可行性。結(jié)果表明該方法能滿足鐵道監(jiān)控系統(tǒng)界面端大數(shù)據(jù)的準實時處理需求。

(2)以10 kV配電網(wǎng)調(diào)度監(jiān)控工程系統(tǒng)為算例，進行多組不同規(guī)模、性能及查詢密度的查詢測試，結(jié)果表明，與傳統(tǒng)服務器相比，以集群作為服務器查詢效率更高，隨著集群的規(guī)模擴大穩(wěn)定性越高，可高效地實現(xiàn)鐵道供電調(diào)度端對準實時監(jiān)控大數(shù)據(jù)的快速查詢處理。

參考文獻：

[1]劉明光.鐵道電網(wǎng)過電壓分析及防護[M].北京:清華大學出版社,北京交通大學出版社,2009:77-82.

[2]劉明光,白生龍,楊煥廷,等.高壓電氣設備絕緣在線監(jiān)測研究[J].電氣化鐵道,2001(4):11-14.

LIU Mingguang,BAI Shenglong,YANG Huanting,et al.Study on High Voltage Equipment Insulation On-Line Monitoring[J].Electric Railway,2001(4):11-14.

[3]趙林,王麗麗,劉艷,等.電網(wǎng)實時監(jiān)控可視化技術研究與分析[J].電網(wǎng)技術,2014,38(2):538-543.

ZHAO Lin,WANG Lili,LIU Yan,et al.Research and Analysis on Visualization Technology for Power Grid Real-Time Monitoring[J].Power System Technology,2014,38(2):538-543.

[4]周孝信,魯宗相,劉應梅,等.中國未來電網(wǎng)的發(fā)展模式和關鍵技術[J].中國電機工程學報,2014,34(29):4999-5008.

ZHOU Xiaoxin,LU Zongxiang,LIU Yingmei,et al.Development Models and Key Technologies of Future Grid in China[J].Proceedings of the CSEE,2014,34(29):4999-5008.

[5]辛耀中,石俊杰,周京陽,等.智能電網(wǎng)調(diào)度控制系統(tǒng)現(xiàn)狀與技術展望[J].電力系統(tǒng)自動化,2015,39(1):2-8.

XIN Yaozhong,SHI Junjie,ZHOU Jingyang,et al.Technology Development Trends of Smart Grid Dispatching and Control Systems[J].Automation of Electric Power Systems,2015,39(1):2-8.

[6]辛耀中.智能電網(wǎng)調(diào)度控制技術國際標準體系研究[J].電網(wǎng)技術,2014,38(2):538-543.

XIN Yaozhong.Research on International Standard Architecture for Smart Grid Dispatching and Control Technology[J].Power System Technology,2014,38(2):538-543.

[7]顧雪平,劉道兵,孫海新,等.面向SCADA系統(tǒng)的電網(wǎng)故障診斷信息的獲取[J].電網(wǎng)技術,2012,36(6):64-70.

GU Xueping,LIU Daobing,SUN Haixin,et al.Acquisition of Power System Fault Diagnosis Information from SCADA System[J].Power System Technology,2012,36(6):64-70.

[8]屈志堅,應康興,趙亮,等.富網(wǎng)絡調(diào)度界面的多事件線程快速GAS回調(diào)模式[J].電網(wǎng)技術,2016,40(9):2881-2888.

QU Zhijian,YING Kangxing,ZHAO Liang,et al.Multi Event Thread Fast GAS Callback Mode of Rich Network Scheduling Interface[J].Power Grid Technology,2016,40(9):2881-2888.

[9]屈志堅,徐振清,林宏平,等.設計模式在調(diào)度主站監(jiān)控系統(tǒng)兼容性處理中的應用[J].電力自動化設備,2016,36(7):156-162.

QU Zhijian,XU Zhenqing,LIN Hongping,et al.Application of Design Pattern in Compatibility Management of Dispatching Master Station Monitoring System[J].Electric Power Automation Equipment,2016,36(7):156-162.

[10]郭挺,謝敏,劉明波,等.SVG和Ajax技術在電網(wǎng)分析與輔助決策支持系統(tǒng)中的應用[J].電力系統(tǒng)保護與控制,2012,40(4):83-89.

GUO Ting,XIE Min,LIU Mingbo,et al.Application of SVG and Ajax Technique into Power Network Analysis and Decision Support Systems[J].Power System Protection and Control,2012,40(4):83-89.

[11]敖麗敏,李林輝.基于Ajax的電力圖形系統(tǒng)的實現(xiàn)[J].電力系統(tǒng)自動化,2007,31(9):47-50,81.

AO Limin,LI Linhui.Implementation of a Power Graphics System Based on Ajax[J].Automation of Electric Power Systems,2007,31(9):47-50,81.

[12]趙耀培.一種基于GWT的Web應用開發(fā)框架原理與實現(xiàn)[J].信息技術與信息化,2012(3):76-83.

ZHAO Yaopei.The Principle and Implementation of Web Application Development Framework Based on GWT[J].Information Technology and Informatization,2012(3):76-83.

[13]LI K,SU F,CHENG X,et al.The Research of Performance Optimization Methods Based on Lmpala Cluster[C]//2016 16th International Symposium on Communications and Information Technologies(ISCIT),2016:336-341.

[14]陳達倫,陳榮國,謝炯.基于MPP架構的并行空間數(shù)據(jù)庫原型系統(tǒng)的設計與實現(xiàn)[J].地球信息科學學報,2016,18(2):151-159.

CHEN Dalun,CHEN Rongguo,XIE Jiong.Research of the Parallel Spatial Database Proto System Based on MPP Architecture[J].Journal of Geo-information Science,2016,18(2):151-159.

[15]趙加奎,楊國鳳,沐連順,等.數(shù)據(jù)流技術在電網(wǎng)自動化中的應用研究[J].電網(wǎng)技術,2011,35(8):6-11.

ZHAO Jiakui,YANG Guofeng,MU Lianshun,et al.Research on the Application of the Data Stream Technology in Grid Automation[J].Power System Technology,2011,35(8):6-11.

[16]SANG J P,JIN D K,SEO Y S,et al.Computed Tomography Findings for Predicting Severe Acute Hepatitis with Prolonged Cholestasis[J].World Journal of Gastroenterology,2013,19(16):2543-2549.

[17]趙鑫,張向軍,劉天壽,等.基于Ajax技術的小水電站運行效率監(jiān)測系統(tǒng)設計與實現(xiàn)[J].電力系統(tǒng)保護與控制,2009,37(2):83-87.

ZHAO Xin,ZHANG Xiangjun,LIU Tianshou,et al.Design and Implementation of Small Hydropower Station Efficiency Supervisory System Based on Ajax[J].Power System Protection and Control,2009,37(2):83-87.