朱永利，石鑫，王劉旺

（1．新能源電力系統(tǒng)國家重點實驗室(華北電力大學(xué))，河北省 保定市 071003；2．上海交通大學(xué)大數(shù)據(jù)工程技術(shù)研究中心，上海市 閔行區(qū) 200240；3．國網(wǎng)浙江省電力有限公司電力科學(xué)研究院，浙江省 杭州市 310014）

0 引言

隨著海量數(shù)據(jù)的積累和計算機(jī)硬件計算能力的提升，新一代人工智能發(fā)展迅速，呈現(xiàn)出深度、自主學(xué)習(xí)的新特征。2011年以來，微軟和谷歌的研究人員采用一種稱為“深度學(xué)習(xí)”的機(jī)器學(xué)習(xí)模型，使得語音識別錯誤率降低了20%~30%，取得了語音識別領(lǐng)域近十多年來最大的進(jìn)展。2012年，多倫多大學(xué) Hinton教授帶領(lǐng)他的學(xué)生在ImageNet競賽中將錯誤率從26%降低到15%，取得了圖像識別領(lǐng)域驚人的結(jié)果，采用的也是這種“深度學(xué)習(xí)”技術(shù)。2016年 3月，谷歌旗下DeepMind公司基于“深度學(xué)習(xí)”和蒙特卡洛樹搜索技術(shù)研發(fā)的AlphaGo以4：1完勝圍棋職業(yè)九段棋手李世石；2017年5月，它又以3：0戰(zhàn)勝中國圍棋名將柯潔。深度學(xué)習(xí)在工業(yè)界取得的巨大成功使得它迅速成為人工智能近期研究熱點[1-5]。

信息化和智能化程度的提升使得電力系統(tǒng)數(shù)據(jù)累積量越來越大，大量數(shù)據(jù)中含著豐富的信息維度，而傳統(tǒng)的淺層線性或非線性模型由于表征能力有限，無法充分挖掘數(shù)據(jù)中蘊(yùn)含的信息；深度學(xué)習(xí)則不同，深層的機(jī)器學(xué)習(xí)模型使得它能夠擬合任意復(fù)雜的函數(shù)，利用大數(shù)據(jù)來自動學(xué)習(xí)特征，所學(xué)習(xí)到的特征往往更能夠刻劃數(shù)據(jù)內(nèi)在信息。因此，大數(shù)據(jù)需要深度學(xué)習(xí)，新一代人工智能也必是基于大數(shù)據(jù)的深度學(xué)習(xí)智能。同時，大數(shù)據(jù)具有體量大、增長速度快、實時性要求高等特點，大數(shù)據(jù)環(huán)境下的新一代人工智能方法，需要充分考慮計算資源限制、數(shù)據(jù)計算速率、模型實時更新等問題。

結(jié)合本人所在課題組最近幾年的研發(fā)和應(yīng)用情況，本文總結(jié)了人工智能近期研究熱點深度學(xué)習(xí)常用模型和方法，包括深度信念網(wǎng)絡(luò)、堆棧自動編碼器、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度強(qiáng)化學(xué)習(xí)和深度混合網(wǎng)絡(luò)，重點介紹了各網(wǎng)絡(luò)模型的特點、原理及其在電力系統(tǒng)中的應(yīng)用研究現(xiàn)狀。在此基礎(chǔ)上，進(jìn)一步分析了大數(shù)據(jù)背景下新一代智能方法發(fā)展趨勢及在應(yīng)用時需要考慮的問題，并給出了基于分布式機(jī)器學(xué)習(xí)和增量學(xué)習(xí)的解決方法，希望能為該領(lǐng)域相關(guān)研究工作者提供參考。

1 深度學(xué)習(xí)在電力系統(tǒng)中的應(yīng)用研究

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個新分支，近年來在語音識別、目標(biāo)檢測、文本處理等領(lǐng)域取得了突破性進(jìn)展[1]，迅速成為工業(yè)界和學(xué)術(shù)界的研究熱點。DL思想最早建立在模擬人腦對聲音、圖像、文本等信號處理的機(jī)理之上，以圖像為例，首先檢測邊緣、初始形狀，然后逐步形成更復(fù)雜的視覺形狀[2]。DL簡單可以理解為多隱含層的神經(jīng)網(wǎng)絡(luò)，通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)來實現(xiàn)對任意復(fù)雜函數(shù)的逼近，表征數(shù)據(jù)的分布式表示。與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，DL重點突出網(wǎng)絡(luò)的深層結(jié)構(gòu)和特征的自動學(xué)習(xí)，通常具有5層、10層、甚至上百層，更深的層次使其具有更強(qiáng)地從大量樣本中自動提取數(shù)據(jù)特征的能力。

多倫多大學(xué) Hinton等人[3]于 2006年提出深度學(xué)習(xí)的思想，基于深度信念網(wǎng)絡(luò)(deep belief network，DBN)設(shè)計了逐層無監(jiān)督貪婪訓(xùn)練算法，解決了傳統(tǒng)BP算法在訓(xùn)練深層網(wǎng)絡(luò)時梯度消失、易陷入局部最優(yōu)、必須有監(jiān)督學(xué)習(xí)等問題，隨后他們又提出了堆棧自動編碼器(stacked auto-encoder，SAE)[4]深層網(wǎng)絡(luò)結(jié)構(gòu)模型。紐約大學(xué) Lecun等人[5]于 1989年提出的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)最早成功應(yīng)用于手寫字體的識別，但由于在自然圖片上效果不好而沒有得到重視，直到2012年Hinton等在ImageNet上用更多層的CNN取得圖像識別冠軍。瑞士人工智能實驗室Schmidhuber等人提出的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)經(jīng)過不斷改進(jìn)，近年來由于在語音識別[6]、機(jī)器翻譯[7]、自動生成[8]等應(yīng)用中的巨大成功而被廣泛研究。隨著研究的深入和各種實際應(yīng)用需求的驅(qū)動，更加復(fù)雜的混合網(wǎng)絡(luò)結(jié)構(gòu)模型不斷被提出，如將DL與傳統(tǒng)強(qiáng)化學(xué)習(xí)結(jié)合形成的深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning，DRL)、將兩種或以上網(wǎng)絡(luò)模型相結(jié)合的深度混合網(wǎng)絡(luò)(deep hybrid network，DHN)。

1.1 深度信念網(wǎng)絡(luò)

DBN是最早被提出的深度學(xué)習(xí)網(wǎng)絡(luò)模型，由多個受限玻爾茲曼機(jī)(restricted Boltzmann machine，RBM)組成，一個基本的 RBM 包括可視層v和隱含層h，兩層節(jié)點均服從玻爾茲曼分布，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。當(dāng)輸入是v=[v1,v2,…,vm]時，可以通過 P(h|v)求得 h=[h1,h2,… ,hn]，然后利用求得的h通過P(?v|h)求得?v，通過調(diào)整網(wǎng)絡(luò)參數(shù)使得?v與v盡可能地相近，當(dāng)二者誤差足夠小時，便可以認(rèn)為該 RBM對訓(xùn)練樣本的似然度足夠高，其本質(zhì)是Gibbs Sampling的過程。DBN在訓(xùn)練時采用逐層無監(jiān)督貪婪訓(xùn)練，這種訓(xùn)練方法支持它們擁有更深的網(wǎng)絡(luò)結(jié)構(gòu)，使其適用于高維復(fù)雜數(shù)據(jù)的自動特征提取，可以有效避免人工特征提取的繁復(fù)和不確定性。實際應(yīng)用中，DBN通常與其他方法相結(jié)合，用于解決分類或預(yù)測問題。

圖1 受限玻爾茲曼機(jī)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 RBM network structure

朱永利等[9]在國內(nèi)較早將 DBN應(yīng)用于電力系統(tǒng)，率先提出將DBN與Softmax分類器相結(jié)合應(yīng)用于電力變壓器故障診斷，考慮H2、CH4、C2H6、C2H4、C2H2、CO、CO2七種變壓器油中溶解氣體，所構(gòu)建的故障分類模型可以充分利用工程現(xiàn)場大量無標(biāo)簽樣本作為模型預(yù)訓(xùn)練數(shù)據(jù)，有效提高了故障診斷準(zhǔn)確率。

此外，上海交通大學(xué)代杰杰等[10]綜合考慮變壓器油中溶解氣體濃度、環(huán)境溫度和油溫，構(gòu)建了 DBN預(yù)測模型，對變壓器油中溶解氣體濃度進(jìn)行預(yù)測，取得了較高的預(yù)測準(zhǔn)確率。文獻(xiàn)[11]將 DBN和分位數(shù)回歸相結(jié)合，利用小波變換后的風(fēng)速數(shù)據(jù)，構(gòu)建了一種新的風(fēng)速預(yù)測模型。

1.2 堆棧自動編碼器

SAE結(jié)構(gòu)與DBN相似，由多個自動編碼器(auto-encoder，AE)堆疊而成，一個基本的AE可視為一個輸出層與輸入層具有相同的神經(jīng)元個數(shù)的 3層神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 2所示。AE是一種盡可能復(fù)現(xiàn)輸入信息的神經(jīng)網(wǎng)絡(luò)，從輸入層到隱含層的變化過程稱為編碼，從隱含層到輸出層的變化過程稱為解碼，將原始信息x輸入網(wǎng)絡(luò)，通過調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使得變換后的信息?x與x盡可能相似，當(dāng)二者誤差足夠小時，便認(rèn)為h為輸入信息的另一種特征表示。SAE通過將多層AE堆疊，采用逐層無監(jiān)督貪婪訓(xùn)練，這樣便得到了原始輸入信息的分層特征表示。實際應(yīng)用中，為了滿足不同領(lǐng)域的任務(wù)需求，研究人員通常對SAE進(jìn)行改進(jìn)或與其他方法結(jié)合，如增加了稀疏性限制的SAE、具有較好魯棒性的降噪SAE、卷積SAE等[12]。

圖2 自動編碼器網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 AE network structure

朱永利等[13]在國內(nèi)率先將 SAE應(yīng)用于電力系統(tǒng)，首次提出利用SAE對大量電力變壓器油色譜樣本數(shù)據(jù)進(jìn)行自動特征提取，并結(jié)合 softmax分類器對所提取特征進(jìn)行分類，設(shè)置了中低溫過熱、高溫過熱、局部放電、低能放電、高能放電、正常6種變壓器狀態(tài)類型，綜合分類正確率達(dá)到90%以上，高于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)方法。

在此之后，將SAE或其變體應(yīng)用于電力系統(tǒng)的研究不斷開展，例如，文獻(xiàn)[14]中針對輸變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)清洗過程繁瑣、信息易丟失等問題，提出采用堆棧降噪自動編碼器對數(shù)據(jù)進(jìn)行清洗，工程實例測試結(jié)果驗證了方法的有效性；文獻(xiàn)[15]提出將 SAE用于風(fēng)機(jī)齒輪箱的故障檢測，通過預(yù)訓(xùn)練和調(diào)優(yōu)對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，計算測試數(shù)據(jù)集的重構(gòu)誤差作為齒輪箱的狀態(tài)檢測量，仿真實驗結(jié)果證明了方法的有效性。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

CNN不同于SAE和DBN，它是一種有監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)模型，由輸入層、卷積層、子采樣層、全連接層和輸出層組成，其中卷積層和池化層通常取若干個，且二者交替設(shè)置，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中，卷積層由若干卷積單元構(gòu)成，通過卷積運(yùn)算進(jìn)行特征提取，更多的層通常能夠提取更復(fù)雜的特征；子采樣層則是對卷積獲取到的高維特征降維，通過取均值或最大值得到新的、維度小的特征；全連接層則是把所有局部特征結(jié)合變?yōu)槿痔卣?，便于后續(xù)計算判別。相比其他神經(jīng)網(wǎng)絡(luò)，CNN的特點在于其每一層特征都由上一層的局部區(qū)域通過共享權(quán)值的卷積核激勵得到，大大減少了網(wǎng)絡(luò)的參數(shù)，這使得它特別適合于圖像特征的學(xué)習(xí)和提取。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 CNN network structure

隨著研究的深入，CNN的結(jié)構(gòu)不斷被優(yōu)化和改進(jìn)，先后產(chǎn)生了各種大型卷積網(wǎng)絡(luò)(AlexNet[16]、VGG[17]、GoogLeNet[18]等)、基于邊緣檢測的R-CNN[19]、Faster R-CNN[20]等。近兩年，CNN應(yīng)用于電力系統(tǒng)的研究工作不斷涌現(xiàn)。文獻(xiàn)[21]將 CNN與隨機(jī)森林方法結(jié)合，用于電力設(shè)備圖像特征提取和分類，識別準(zhǔn)確率高達(dá) 90%；文獻(xiàn)[22]將Faster R-CNN用于輸電線路無人機(jī)巡檢圖像識別，克服了 R-CNN計算復(fù)雜、識別速度慢的缺陷，識別準(zhǔn)確率高達(dá) 92.7%；文獻(xiàn)[23]將CNN與softmax結(jié)合，用于解決輸電線路區(qū)內(nèi)外故障判斷和故障選相問題，數(shù)據(jù)測試結(jié)果證明了方法的準(zhǔn)確可靠。

1.4 循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，具體表現(xiàn)為網(wǎng)絡(luò)會對前面的信息記憶并用于當(dāng)前輸出的計算中，網(wǎng)絡(luò)在設(shè)計時隱藏層之間的神經(jīng)元節(jié)點有連接，并且隱藏層的輸入包括輸入層的輸入和其自身上一時刻的輸出，網(wǎng)絡(luò)結(jié)構(gòu)示例圖如圖4所示。圖中，xt是t時刻的輸入，st是t時刻隱藏層的狀態(tài)，ot是t時刻的輸出，U、V、W為所有層共享權(quán)重系數(shù)。由于 RNN在訓(xùn)練時易出現(xiàn)梯度爆炸或消失，導(dǎo)致其在處理處理長序列數(shù)據(jù)時效果表現(xiàn)較差，Hochreiter等人對RNN進(jìn)行改進(jìn)，提出長短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)[24]，近幾年又被 Alex Graves等[25]進(jìn)行改進(jìn)，引入Attention機(jī)制等。相比于傳統(tǒng)RNN，LSTM主要是增加了門限控制，使得自循環(huán)的權(quán)重是變化的，因此累積的時間尺度可以動態(tài)改變，有效避免了梯度消失或爆炸問題。

圖4 RNN網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 4 RNN network structure

近年來，隨著LSTM在語音識別等領(lǐng)域取得巨大成功，再度成為各行各業(yè)研究熱點，在電力系統(tǒng)中主要被用于解決預(yù)測類問題。例如，文獻(xiàn)[26]中提出將AE與LSTM結(jié)合用于光伏發(fā)電預(yù)測，實驗結(jié)果證明了所提方法優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和其他物理預(yù)測模型；文獻(xiàn)[27]中基于 LSTM模型，綜合考慮風(fēng)電功率相關(guān)程度高的多個變量，構(gòu)建了風(fēng)電功率實時預(yù)測模型，較傳統(tǒng)方法擁有更高的預(yù)測精度。

1.5 深度強(qiáng)化學(xué)習(xí)

DRL是 DL與增強(qiáng)學(xué)習(xí)(reinforcement learning，RL)的結(jié)合，實現(xiàn)感知到動作的一種端到端學(xué)習(xí)算法，最早是由DeepMind提出[28]。RL是一種試錯學(xué)習(xí)算法，更加符合人類學(xué)習(xí)習(xí)慣，其原理如圖5所示。Agent通過與環(huán)境反復(fù)交互，最終學(xué)習(xí)到一種較優(yōu)的策略，以獲得最大回報。相比于傳統(tǒng)RL算法，DRL優(yōu)勢在于可以處理場景復(fù)雜的任務(wù)，DL用于自動提取大規(guī)模輸入數(shù)據(jù)的抽象特征，RL則以此特征為依據(jù)進(jìn)行自我激勵，進(jìn)而優(yōu)化解決問題的策略。

圖5 增強(qiáng)學(xué)習(xí)原理圖Fig. 5 RL principle

自 AlphaGo[29]問世，DRL迅速成為研究熱點，目前，中國電科院王繼業(yè)等已經(jīng)開展了基于DRL的電網(wǎng)仿真、調(diào)控云平臺研究[30]。廈門大學(xué)肖亮等[31]將 DRL應(yīng)用于微電網(wǎng)電能交易，以便自動實現(xiàn)最優(yōu)電能交易方案，并申請了相關(guān)專利。

1.6 深度混合網(wǎng)絡(luò)

DHN是由降噪自動編碼器[32]和高斯伯努利受限玻爾茲曼機(jī)[33]堆疊混合而成的神經(jīng)網(wǎng)絡(luò)，如圖6所示。底層使用降噪自動編碼器，可以最小化出表現(xiàn)形式變化之外的其他損失，有效應(yīng)對噪聲的影響，擁有更優(yōu)的魯棒性；中間層使用GRBM，使用概率實數(shù)值作為輸入，可以更加有效的重構(gòu)和復(fù)現(xiàn)輸入信號中的有用信息，提高模型的分類準(zhǔn)確率。相比于SAE和DBN，DHN擁有更優(yōu)的特征提取能力和抗噪能力。

何子襄等[34]使用圖6所示的深度混合網(wǎng)絡(luò)進(jìn)行了變壓器故障診斷研究，將課題組積累的變壓器油色譜樣本作為輸入向量，變壓器的狀態(tài)編碼作為輸出。訓(xùn)練過程總共分為兩個步驟，首先使用無標(biāo)簽樣本進(jìn)行訓(xùn)練并得到相對較優(yōu)的初始化參數(shù)W和b，有效防止傳統(tǒng)神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)問題；然后通過少量有標(biāo)簽樣本進(jìn)行微調(diào)，進(jìn)一步參數(shù)優(yōu)化，進(jìn)而提高診斷的準(zhǔn)確率。實例表明，與常見的基于BP和SVM等的變壓器故障診斷方法相比，該方法不僅可以充分使用大量的無標(biāo)簽樣本進(jìn)行訓(xùn)練，而且其識別準(zhǔn)確率亦有所提升，可以達(dá)到91%左右。

圖6 深度混合網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 6 DHN Structure

隨著深度學(xué)習(xí)的發(fā)展，各種深度學(xué)習(xí)混合模型相繼提出。文獻(xiàn)[35]中提出一種基于受限玻爾茲曼機(jī)與卷積神經(jīng)網(wǎng)絡(luò)混合模型遷移學(xué)習(xí)的圖像分類方法，并在Caltech101數(shù)據(jù)集上進(jìn)行了測試。實驗結(jié)果證明該方法提高了分類準(zhǔn)確率。文獻(xiàn)[36]中提出一種將卷積神經(jīng)網(wǎng)絡(luò)和支持向量分類器相結(jié)合的模型結(jié)構(gòu)，并在短時交通流中進(jìn)行了預(yù)測。實驗結(jié)果表明相比于傳統(tǒng)的預(yù)測模型方法，該模型有效提高了預(yù)測準(zhǔn)確率。

2 大數(shù)據(jù)智能分析及其在電力系統(tǒng)中的應(yīng)用研究

隨著電力系統(tǒng)朝著高度信息化和智能化方向的發(fā)展，在發(fā)電、輸電、變電、配電、用電和調(diào)度等各個環(huán)節(jié)產(chǎn)生了海量的生產(chǎn)、運(yùn)行、控制、交易、消費(fèi)等數(shù)據(jù)。電力系統(tǒng)中的數(shù)據(jù)已經(jīng)呈現(xiàn)出了體量大、類型多、變化快和價值密度低的大數(shù)據(jù)主要特征。隨著電力系統(tǒng)與天然氣、供冷、供暖、交通等能源系統(tǒng)的不斷融合，大能源系統(tǒng)內(nèi)產(chǎn)生的數(shù)據(jù)量將呈幾何級數(shù)上升[37]。

新一代人工智能主要是大數(shù)據(jù)基礎(chǔ)上的人工智能，是從傳統(tǒng)的人工知識表達(dá)轉(zhuǎn)向大數(shù)據(jù)驅(qū)動的知識學(xué)習(xí)技術(shù)。然而，大數(shù)據(jù)具有體量大、增長速度快、類型多等特點，諸多傳統(tǒng)人工智能方法都不能直接使用。大數(shù)據(jù)環(huán)境下的人工智能方法，需要從分布式機(jī)器學(xué)習(xí)和增量學(xué)習(xí)兩個方面著手解決。

2.1 分布式機(jī)器學(xué)習(xí)

大數(shù)據(jù)具有體量大的特征，而很多用于分析小數(shù)據(jù)的傳統(tǒng)人工智能方法是基于內(nèi)存。由于計算機(jī)內(nèi)存有限，無法同時裝載大量數(shù)據(jù)，對于機(jī)器學(xué)習(xí)模型的訓(xùn)練和應(yīng)用都存在挑戰(zhàn)。而分布式機(jī)器學(xué)習(xí)技術(shù)正是迎合了當(dāng)前的大數(shù)據(jù)分析的強(qiáng)烈應(yīng)用需求，通過分布式和并行化計算技術(shù)與機(jī)器學(xué)習(xí)技術(shù)相融合，來解決當(dāng)前的大數(shù)據(jù)機(jī)器學(xué)習(xí)的問題。一方面，仍然需要持續(xù)關(guān)注機(jī)器學(xué)習(xí)中的方法和算法本身，即尋求新的更優(yōu)的學(xué)習(xí)模型和學(xué)習(xí)方法，以不斷提升分析結(jié)果的準(zhǔn)確性和魯棒性。與此同時，還要充分考慮數(shù)據(jù)體量帶來的計算時效性問題。

圖7 模型并行與數(shù)據(jù)并行Fig. 7 Model parallelism and data parallelism

分布式機(jī)器學(xué)習(xí)在模型訓(xùn)練階段的并行化可分為模型并行和數(shù)據(jù)并行兩種方式，如圖1所示。在模型并行方式下，機(jī)器學(xué)習(xí)模型的不同部分由分布式系統(tǒng)中的不同計算單元(CPU或 GPU)負(fù)責(zé)。在數(shù)據(jù)并行方式下，不同的計算單元中都有一個完整的模型副本，但它們都僅有不同的一部分?jǐn)?shù)據(jù)，最終將所有計算單元的結(jié)果通過一定方法進(jìn)行合并。模型并行需要并行的部分滿足獨立不依賴的條件，而數(shù)據(jù)并行需要數(shù)據(jù)具有可分性，較為容易滿足，通常是大多數(shù)分布式系統(tǒng)的首選。另一方面，數(shù)據(jù)并行在實現(xiàn)難度、容錯率和集群利用率方面都優(yōu)于模型并行。數(shù)據(jù)并行學(xué)習(xí)方式的關(guān)鍵點在于需要整合不同計算單元的結(jié)果，并且在計算單元之間如何同步模型參數(shù)。

近年來出現(xiàn)了很多針對包括深度學(xué)習(xí)在內(nèi)的人工智能算法進(jìn)行分布式或并行化改進(jìn)的成果[38-40]，雖取得了一定的成效，但對于像電力系統(tǒng)等各專業(yè)領(lǐng)域的業(yè)務(wù)人員來說，構(gòu)建并實現(xiàn)一個高效的分布式學(xué)習(xí)算法絕非易事。因而，面向大數(shù)據(jù)機(jī)器學(xué)習(xí)，目前已出現(xiàn)了眾多易于應(yīng)用的分布式系統(tǒng)及其并行算法庫，例如基于MapReduce并行模型的Mahout[41]、Spark環(huán)境下的MLlib[42]、以及支持深度學(xué)習(xí)的TensorFlow[43]等。這些分布式機(jī)器學(xué)習(xí)系統(tǒng)或平臺都為目前電力系統(tǒng)中的人工智能應(yīng)用需求提供了基礎(chǔ)的方法或算法，也為將來構(gòu)建電力系統(tǒng)私有的分布式機(jī)器學(xué)習(xí)平臺提供了技術(shù)支撐和參考范式。目前已有借助于上述大數(shù)據(jù)平臺研究電力系統(tǒng)中的分布式機(jī)器學(xué)習(xí)應(yīng)用的成果，主要包括電力負(fù)荷預(yù)測[44-46]、電力設(shè)備的故障診斷[47-48]等方面。

針對高壓電力設(shè)備的大量局部放電分析問題，王劉旺等[49]利用Hadoop MapReduce編程模型對局部放電信號的基本參數(shù)提取、譜圖構(gòu)造和特征計算以及基于 KNN的放電類型識別三階段進(jìn)行了高粒度并行化，顯著提高了批量放電信號的處理效率。由于Hadoop MapReduce在迭代過程中需要反復(fù)的磁盤操作，在特征構(gòu)造階段應(yīng)用復(fù)雜性較高的信號處理算法時將耗費(fèi)過多的運(yùn)行時間，故改用Spark平臺，顯著提高了運(yùn)算效率[50]。

2.2 增量學(xué)習(xí)

大數(shù)據(jù)機(jī)器學(xué)習(xí)的另一個挑戰(zhàn)來源于大數(shù)據(jù)產(chǎn)生速度快的特性，在逐漸完善的量測系統(tǒng)下，眾多用于在線監(jiān)測的傳感器在整體上以極快的速度采集數(shù)據(jù)，并且在重要場景中往往要求被實時處理。針對如此高速變化的大數(shù)據(jù)，傳統(tǒng)的批量學(xué)習(xí)方式已經(jīng)難以適應(yīng)。隨著數(shù)據(jù)的不斷更新，批量學(xué)習(xí)方式下重新訓(xùn)練模型對時間和空間的需求也會迅速增長，最終會出現(xiàn)模型更新趕不上數(shù)據(jù)更新的窘境，增量學(xué)習(xí)方式為此提供了解決方案。增量學(xué)習(xí)是指在已建立模型的基礎(chǔ)上，根據(jù)新獲得的樣本更新當(dāng)前模型的參數(shù)與結(jié)構(gòu)，使之能夠利用新數(shù)據(jù)的信息，同時又盡力保持模型的原有信息，使得新模型仍能有效解決歷史問題，而不需要對大量歷史數(shù)據(jù)進(jìn)行重新的完整訓(xùn)練。

隨著智能電網(wǎng)信息化程度的不斷提高，當(dāng)前電力系統(tǒng)的多個環(huán)節(jié)都面臨著大規(guī)模數(shù)據(jù)流快速分析的挑戰(zhàn)，如針對大范圍輸變電設(shè)備或發(fā)電設(shè)備的在線監(jiān)測、大規(guī)模智能電表的快速實時信息采集等。這些數(shù)據(jù)源源不斷產(chǎn)生，其速率和規(guī)模均難以預(yù)知，往往需要及時處理并反饋結(jié)果，呈現(xiàn)出實時性、易失性、突發(fā)性、無序性與無限性的流式大數(shù)據(jù)特性，對面向數(shù)據(jù)流的人工智能技術(shù)提出了需求。目前針對電力系統(tǒng)流式大數(shù)據(jù)的成果相對較少，大部分集中在簡單的數(shù)據(jù)處理上[51-52]，針對智能電網(wǎng)流式大數(shù)據(jù)的機(jī)器學(xué)習(xí)方面的研究還很少見。針對大規(guī)模用電信息采集中用電數(shù)據(jù)流的快速聚類和異常檢測技術(shù)展開研究。文獻(xiàn)[53]結(jié)合Spark Streaming流式計算平臺，基于用戶用電模式的相似性設(shè)計并實現(xiàn)了流式DBSCAN聚類算法，以應(yīng)對大規(guī)模用電數(shù)據(jù)流的快速異常檢測。

圖8 電力設(shè)備在線并行故障診斷拓?fù)銯ig. 8 Online parallel fault diagnosis topology of power equipment

針對大范圍輸變電設(shè)備的故障診斷問題，王劉旺[54]提出了一種基于Storm實時處理技術(shù)和變量預(yù)測模型分類(VPMCD)的在線并行故障診斷方法。為了滿足在線診斷需求，將增量學(xué)習(xí)機(jī)制引入VPMCD中，采用遞推最小二乘法實現(xiàn)了變量預(yù)測模型(VPM)的增量更新?？紤]到大規(guī)模電力設(shè)備的在線故障診斷問題，設(shè)計了基于 Storm的流式數(shù)據(jù)實時處理框架，如圖2所示，通過構(gòu)建 Storm拓?fù)浣M件的監(jiān)聽機(jī)制實現(xiàn)了 VPM 在Storm上的初始化、增量學(xué)習(xí)與應(yīng)用分類。在這個實時處理框架中，增量式VPMCD方法可以根據(jù)應(yīng)用場景需求替換成其他更為有效的增量學(xué)習(xí)方法。

3 結(jié)論

隨著信息化和智能化水平的提升，電力系統(tǒng)累積了大量數(shù)據(jù)，驅(qū)動了深度學(xué)習(xí)為代表的新一代人工智能方法在電力系統(tǒng)中的應(yīng)用研究。

1）介紹了深度學(xué)習(xí)基本網(wǎng)絡(luò)模型及常見混合模型結(jié)構(gòu)、原理，分析了各網(wǎng)絡(luò)模型特點及適用場景，重點總結(jié)了其在電力系統(tǒng)中應(yīng)用研究情況。

2）針對大數(shù)據(jù)驅(qū)動下新一代人工智能方法在電力系統(tǒng)應(yīng)用中面臨的數(shù)據(jù)體量大、增長速度快、實時性要求高等問題，結(jié)合本人課題組相關(guān)工作，充分考慮計算資源限制、數(shù)據(jù)計算速率、模型實時更新等問題，給出了基于分布式機(jī)器學(xué)習(xí)和增量學(xué)習(xí)的解決方法。

隨著人工智能理論研究的深入和大數(shù)據(jù)分析研究的推進(jìn)，人工智能在電力系統(tǒng)中的應(yīng)用研究將掀起新的高潮，在研究單位和電力企業(yè)的緊密合作的前提下很多研究成果將接近實用化水平，為電力系統(tǒng)的安全、經(jīng)濟(jì)、高自動化和高智能化做出重要貢獻(xiàn)。

[1] LeCun Y，Bengio Y，Hinton G．Deep learning[J]．Nature，2015，521(7553)：436．

[2] Serre T，Kreiman G，Kouh M，et al．A quantitative theory of immediate visual recognition[J]．Progress in Brain Research，2007，165：33-56．

[3] Hinton G E，Osindero S，Teh Y W．A fast learning algorithm for deep belief nets[J]．Neural Computation，2006，18(7)：1527-1554．

[4] Hinton G E，Salakhutdinov R R．Reducing the dimensionality of data with neural networks[J]．Science，2006，313(5786)：504-507．

[5] LeCun Y，Boser B，Denker J S，et al．Backpropagation applied to handwritten zip code recognition[J]．Neural computation，1989，1(4)：541-551．

[6] Graves A，Mohamed A R，Hinton G．Speech recognition with deep recurrent neural networks[C]//IEEE International Conference on Acoustics，Speech and Signal Processing．Vancouver，Canada，2013：6645-6649．

[7] Sutskever I，Vinyals O，Le Q V．Sequence to sequence learning with neural networks[J]．2014(4)：3104-3112．

[8] Graves A. Generating sequences with recurrent neural networks[J]. arXiv preprint arXiv：1308.0850, 2013.

[9] 石鑫，朱永利，薩初日拉，等．基于深度信念網(wǎng)絡(luò)的電力變壓器故障分類建模[J]．電力系統(tǒng)保護(hù)與控制，2016，44(1)：71-76．

[10] 代杰杰，宋輝，楊祎，等．基于深度信念網(wǎng)絡(luò)的變壓器油中溶解氣體濃度預(yù)測方法[J]．電網(wǎng)技術(shù)，2017，41(8)：2737-2742．

[11] Wang H Z，Wang G B，Li G Q，et al．Deep belief network based deterministic and probabilistic wind speed forecasting approach[J]．Applied Energy，2016，182：80-93．

[12] Goodfellow I，Bengio Y，Courville A，et al．Deep learning[M]．Cambridge：MIT Press，2016：300-320．

[13] 石鑫，朱永利，寧曉光，等．基于深度自編碼網(wǎng)絡(luò)的電力變壓器故障診斷[J]．電力自動化設(shè)備，2016，36(5)：122-126．

[14] 代杰杰，宋輝，楊祎，等．基于棧式降噪自編碼器的輸變電設(shè)備狀態(tài)數(shù)據(jù)清洗方法[J]．電力系統(tǒng)自動化，2017，41(12)：224-230．

[15] 劉輝海，趙星宇，趙洪山，等．基于深度自編碼網(wǎng)絡(luò)模型的風(fēng)電機(jī)組齒輪箱故障檢測[J]．電工技術(shù)學(xué)報，2017，32(17)：156-163．

[16] Krizhevsky A，Sutskever I，Hinton G E．Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. Nevada，USA，2012：1097-1105．

[17] Simonyan K，Zisserman A．Very deep convolutional networks for large-scale image recognition[C]//International conference on learning representations.San Diego，USA，2014．

[18] Szegedy C，Liu W，Jia Y，et al．Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recogintion，Boston，USA，2015．

[19] Girshick R，Donahue J，Darrell T，et al．Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Columbus，USA，2014：580-587．

[20] Ren S，He K，Girshick R，et al．Faster r-cnn：Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems，Montreal，Canada，2015：91-99．

[21] 李軍鋒，王欽若，李敏．結(jié)合深度學(xué)習(xí)和隨機(jī)森林的電力設(shè)備圖像識別[J]．高電壓技術(shù)，2017(11)：3705-3711．

[22] 王萬國，田兵，劉越，等．基于 RCNN的無人機(jī)巡檢圖像電力小部件識別研究[J]．地球信息科學(xué)學(xué)報，2017，19(2)：256-263．

[23] 魏東，龔慶武，來文青，等．基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路區(qū)內(nèi)外故障判斷及故障選相方法研究[J]．中國電機(jī)工程學(xué)報，2016，36(S1)：21-28．

[24] Hochreiter S，Schmidhuber J．Long short-term memory[J]．Neural Computation，1997，9(8)：1735-1780．

[25] Graves A，Jaitly N，Mohamed A R．Hybrid speech recognition with deep bidirectional LSTM[C]//Automatic Speech Recognition and Understanding．IEEE，Olomouc，Czech Republic，2014：273-278．

[26] Gensler A，Henze J，Sick B，et al．Deep learning for solar power forecasting—an approach using AutoEncoder and LSTM neural networks[C]//Systems，Man，and Cybernetics (SMC)，2016 IEEE International Conference．on IEEE，Budapest，Magyarország，2016：002858-002865．

[27] 朱喬木，李弘毅，王子琪，等．基于長短期記憶網(wǎng)絡(luò)的風(fēng)電場發(fā)電功率超短期預(yù)測[J]．電網(wǎng)技術(shù)，2017(12)：3797-3802．

[28] Mnih V，Kavukcuoglu K，Silver D，et al．Playing atari with deep reinforcement learning[J]．a(chǎn)rXiv preprint arXiv：1312(5602)，2013．

[29] Silver D，Huang A，Maddison C J，et al．Mastering the game of Go with deep neural networks and tree search[J]．Nature，2016，529(7587)：484-489．

[30] 王繼業(yè)．人工智能在能源電力領(lǐng)域的探索[R]．北京：中國電科院，2017．

[31] 肖亮，戴燦煌，肖星宇，等．基于深度強(qiáng)化學(xué)習(xí)的微電網(wǎng)電能交易方法：CN107067190A[P]．2017-08-18．

[32] Vincent P，Larochelle H，Bengio Y，et al．Extracting and composing robust features with denoising autoencoders[C]//International Conference on Machine Learning．ACM，Maryland，USA，2008：1096-1103．

[33] Cho K H，Raiko T，Ilin A．Gaussian-Bernoulli deep Boltzmann machine[C]//International Joint Conference on Neural Networks．IEEE，Beijing，China，2014：1-7．

[34] 何子襄. 深度混合網(wǎng)絡(luò)研究及其在變壓器故障診斷中的應(yīng)用[D]．保定：華北電力大學(xué)，2018．

[35] 石祥濱，房雪鍵，張德園，郭忠強(qiáng)．基于深度學(xué)習(xí)混合模型遷移學(xué)習(xí)的圖像分類[J]．系統(tǒng)仿真學(xué)報，2016，28(1)：167-173，182．

[36] 羅文慧，董寶田，王澤勝．基于CNN-SVR混合深度學(xué)習(xí)模型的短時交通流預(yù)測[J]．交通運(yùn)輸系統(tǒng)工程與信息，2017，17(5)：68-74．

[37] 趙俊華，董朝陽，文福拴，等．面向能源系統(tǒng)的數(shù)據(jù)科學(xué)：理論、技術(shù)與展望[J]．電力系統(tǒng)自動化，2017，41(4)：1-11．

[38] Hutchinson B，Deng L，Yu D．Tensor Deep Stacking Networks[J]．IEEE Transactions on Pattern Analysis &Machine Intelligence，2013，35(8)：1944-1957．

[39] Raina R，Madhavan A，Ng A Y．Large-scale deep unsupervised learning using graphics processors[C]//International Conference on Machine Learning．ACM，California，USA，2009：873-880．

[40] Dean J，Corrado G S，Monga R，et al．Large scale distributed deep networks[C]//International Conference on Neural Information Processing Systems．Curran Associates Inc．2012：1223-1231．

[41] Li M，Andersen D G，Park J W，et al．Scaling distributed machine learning with the parameter server[C]//In Proceedings of the 11th USENIX conference on Operating Systems Design and Implementation(OSDI'14)．USENIX Association，Berkeley，CA，USA，583-598．

[42] Meng X，Bradley J，Yavuz B，et al．MLlib：machine learning in apache spark[J]．Journal of Machine Learning Research，2015，17(1)：1235-1241．

[43] Abadi M，Barham P，Chen J，et al．TensorFlow：a system for large-scale machine learning[C]//In Proceedings of the 12th USENIX conference on Operating Systems Design and Implementation(OSDI'16)．USENIX Association，Berkeley，CA，USA，265-283．

[44] 王保義，趙碩，張少敏．基于云計算和極限學(xué)習(xí)機(jī)的分布式電力負(fù)荷預(yù)測算法[J]．電網(wǎng)技術(shù)，2014，38(2)：526-531．

[45] 王德文，孫志偉．電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測[J]．中國電機(jī)工程學(xué)報，2015，35(3)：527-537．

[46] 王保義，王冬陽，張少敏．基于 Spark和 IPPSO_LSSVM的短期分布式電力負(fù)荷預(yù)測算法[J]．電力自動化設(shè)備，2016，36(1)：117-122．

[47] 張少敏，毛冬，王保義．大數(shù)據(jù)處理技術(shù)在風(fēng)電機(jī)組齒輪箱故障診斷與預(yù)警中的應(yīng)用[J]．電力系統(tǒng)自動化，2016，40(14)：129-134．

[48] 王德文，劉曉建．基于MapReduce的電力設(shè)備并行故障診斷方法[J]．電力自動化設(shè)備，2014，34(10)：116-120．

[49] 王劉旺，朱永利，賈亞飛，等．局部放電大數(shù)據(jù)的并行PRPD分析與模式識別[J]．中國電機(jī)工程學(xué)報，2016，36(5)：1236-1244．

[50] 朱永利，王劉旺．并行EEMD算法及其在局部放電信號特征提取中的應(yīng)用[J/OL]．電工技術(shù)學(xué)報，http：//kns.cnki.net/kcms/detail/11.2188.TM.20171220.1103.003.html．

[51] 王德文，楊力平．智能電網(wǎng)大數(shù)據(jù)流式處理方法與狀態(tài)監(jiān)測異常檢測[J]．電力系統(tǒng)自動化，2016，40(14)：122-128．

[52] 屈志堅，王冬．面向智能調(diào)度監(jiān)測的流計算并行滑動窗口技術(shù)[J]．電網(wǎng)技術(shù)，2016，40(7)：2219-2226．

[53] 王桂蘭，周國亮，趙洪山，等．大規(guī)模用電數(shù)據(jù)流的快速聚類和異常檢測技術(shù)[J]．電力系統(tǒng)自動化，2016，40(24)：27-33．

[54] 王劉旺．基于云計算的電力設(shè)備監(jiān)測數(shù)據(jù)的集中并行處理與診斷[D]．北京：華北電力大學(xué)，2017．