黃旭超

?

深度學(xué)習(xí)與電力智能化的思考

黃旭超

（國(guó)網(wǎng)福建省電力有限公司檢修分公司，福州 350000）

本文回顧了深度學(xué)習(xí)的發(fā)展歷程，詳細(xì)介紹了深度學(xué)習(xí)的主流基礎(chǔ)網(wǎng)絡(luò)——深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和特點(diǎn)，在此基礎(chǔ)上對(duì)其產(chǎn)生的衍生和變體進(jìn)行了分析。并總結(jié)了深度學(xué)習(xí)發(fā)展過程中的主要因素。與電網(wǎng)智能化的情況相結(jié)合，本文還闡述了深度學(xué)習(xí)與電網(wǎng)智能化相結(jié)合的可行性和必要性，并簡(jiǎn)單介紹了當(dāng)前深度學(xué)習(xí)在電力系統(tǒng)中的應(yīng)用。毫無疑問，深度學(xué)習(xí)將在助力電力智能化的進(jìn)程中扮演重要角色。

人工智能；深度學(xué)習(xí)；電力智能化

近幾年，互聯(lián)網(wǎng)領(lǐng)域迎來了一個(gè)爆炸式的發(fā)展。隨著數(shù)據(jù)規(guī)模的指數(shù)式增長(zhǎng)，人類社會(huì)正逐漸由信息科技（information technology, IT）時(shí)代轉(zhuǎn)向數(shù)據(jù)科技（data technology, DT）時(shí)代，大數(shù)據(jù)、數(shù)據(jù)挖掘、云服務(wù)等新技術(shù)、新熱點(diǎn)層出不窮，人工方式處理數(shù)據(jù)的瓶頸逐漸顯現(xiàn)出來，科技進(jìn)步的瓶頸已由計(jì)算機(jī)硬件的不足轉(zhuǎn)向了計(jì)算機(jī)智能化的不足。而在這一背景下，人工智能（artificial intelligence, AI）不可避免地成為了新的技術(shù)熱點(diǎn)。

人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。而在這一領(lǐng)域內(nèi)，機(jī)器學(xué)習(xí)（machine learning, ML）無疑是這一波浪潮的焦點(diǎn)，在很多時(shí)候，幾乎成為了人工智能的代名詞。機(jī)器學(xué)習(xí)是上世紀(jì)新興發(fā)展的一門交叉學(xué)科，內(nèi)容涉及高等數(shù)學(xué)、概率論、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)學(xué)、仿生學(xué)等多個(gè)學(xué)科。簡(jiǎn)單地說，機(jī)器學(xué)習(xí)就是通過算法，使得機(jī)器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而通過改變某些參數(shù)，進(jìn)而改善系統(tǒng)性能。機(jī)器學(xué)習(xí)從不同的角度可以有不同的分類，如從特征提取角度可分為隔離學(xué)習(xí)（isolate learning）和端到端學(xué)習(xí)（end-to-end learning）；從模型結(jié)構(gòu)角度可分為淺層學(xué)習(xí)（shallow learning）和深度學(xué)習(xí)（deep learning）。

2017年，共享經(jīng)濟(jì)的概念在投資領(lǐng)域無疑是一個(gè)炙熱的風(fēng)口，只要套上這一概念，社會(huì)資本便蜂擁而至，近年來，深度學(xué)習(xí)亦在學(xué)術(shù)界和工業(yè)界扮演了這一角色。如圖1所示，Google Brain計(jì)劃的項(xiàng)目數(shù)量從2013年第3季度至2015年第3季度發(fā)生了近乎1200%的爆炸式增長(zhǎng)，并將上升勢(shì)頭持續(xù)至今。據(jù)統(tǒng)計(jì)，2016年計(jì)算機(jī)視覺頂級(jí)盛會(huì)IEEE Conference on Computer Vision and Pattern Recognition（CVPR）共收到2145篇有效投稿論文，在接受的643篇論文中，80%～90%的發(fā)表論文、接近100%的口頭報(bào)告論文均來自深度學(xué)習(xí)領(lǐng)域[1]。在諸多領(lǐng)域（如圖像識(shí)別、語音識(shí)別）取得了破紀(jì)錄的成果；在藥物研發(fā)、醫(yī)學(xué)及數(shù)據(jù)分析等領(lǐng)域超越了其他機(jī)器學(xué)習(xí)方法；并在自然語言處理方面展現(xiàn)出了令人期待的前景。2016年，谷歌AlphaGo的人機(jī)大戰(zhàn)更是吸引了世界范圍內(nèi)的強(qiáng)烈關(guān)注，甚至引發(fā)了人們的恐慌和憂慮。

圖1 Google Brain項(xiàng)目數(shù)量

深度學(xué)習(xí)與電力系統(tǒng)相結(jié)合已經(jīng)是電力系統(tǒng)智能化發(fā)展的必由之路。一方面，其擅于挖掘處理大數(shù)據(jù)的特性非常適合解決當(dāng)前電力智能化的進(jìn)程中所面對(duì)的數(shù)據(jù)量激增的挑戰(zhàn)；另一方面，其能充分利用電力智能化帶來的大量的數(shù)據(jù)量推動(dòng)電力技術(shù)的發(fā)展，從而加速電力智能化的進(jìn)程。

1 深度學(xué)習(xí)

雖然深度學(xué)習(xí)近年來在諸多領(lǐng)域取得了令人矚目的成果，但其本身并不是一項(xiàng)新興技術(shù)，其從本質(zhì)上來說是一種特定的，具有多層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks, ANN），其起源最早可以追溯至20世紀(jì)50至60年代的感知機(jī)技術(shù)（Perceptron，即一種僅有輸入層、輸出層和單個(gè)隱含層的簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)，輸入的特征向量通過隱含層變換后至輸出層進(jìn)行分類）[2]。但這種單層感知機(jī)對(duì)稍微復(fù)雜一點(diǎn)的函數(shù)都無能為力，因此沉寂了相當(dāng)長(zhǎng)的一段時(shí)間，直到20世紀(jì)80年代，隨著多層感知機(jī)（multilayer-perceptron）的出現(xiàn)，人工智能迎來了第一次發(fā)展浪潮。

在早年，機(jī)器學(xué)習(xí)系統(tǒng)需要基于細(xì)致的工程和可參考的專業(yè)領(lǐng)域知識(shí)來設(shè)計(jì)特征提取器對(duì)原始數(shù)據(jù)進(jìn)行處理，研究人員的目標(biāo)是利用可訓(xùn)練的多層網(wǎng)絡(luò)結(jié)構(gòu)來取代人工設(shè)計(jì)特征過程[3-4]，但這一想法一直到20世紀(jì)80年代才被不同的研究團(tuán)隊(duì)各自獨(dú)立的完成。

多層感知機(jī)（其結(jié)構(gòu)如圖2所示，即所謂的神經(jīng)網(wǎng)絡(luò)）在結(jié)構(gòu)上由一個(gè)輸入層、一個(gè)輸出層和多個(gè)隱含層構(gòu)成；每個(gè)隱含層由諸多的神經(jīng)元（neuron）組成；每個(gè)神經(jīng)元接受前一層所有的神經(jīng)元的數(shù)據(jù)，并分別進(jìn)行帶權(quán)求和后進(jìn)行偏置，再經(jīng)由激活函數(shù)（activation function）變換后輸出給下一層的所有神經(jīng)元[4]。由于其上下層的神經(jīng)元是完全連接的，因此又稱為全連接網(wǎng)絡(luò)（fully connected network）。

圖2 多層感知機(jī)結(jié)構(gòu)

此時(shí)，對(duì)于單個(gè)神經(jīng)元而言：

對(duì)于所有隱含層而言，其輸出：

因此，對(duì)于整個(gè)網(wǎng)絡(luò)，其輸出為

從其數(shù)學(xué)模型來看，整個(gè)的神經(jīng)網(wǎng)絡(luò)在本質(zhì)上與數(shù)學(xué)的擬合或插值問題類似，都是給出已知的坐標(biāo)（訓(xùn)練數(shù)據(jù)）和坐標(biāo)（訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的我們需要的分類或結(jié)果），尋求一種復(fù)合函數(shù)對(duì)其進(jìn)行 映射。

而網(wǎng)絡(luò)的訓(xùn)練過程，即是整個(gè)網(wǎng)絡(luò)的參數(shù)（內(nèi)部神經(jīng)元的連接權(quán)重、偏置值）的調(diào)整過程。傳統(tǒng)的監(jiān)督學(xué)習(xí)在這一過程中通常使用一個(gè)損失函數(shù)（loss function）來評(píng)估訓(xùn)練時(shí)網(wǎng)絡(luò)輸出的結(jié)果與設(shè)定結(jié)果的差異，以反向傳播的梯度下降法進(jìn)行參數(shù)的更新。對(duì)于多層網(wǎng)絡(luò)結(jié)構(gòu)而言，其訓(xùn)練可以使用簡(jiǎn)單的隨機(jī)梯度下降法完成，只要模塊是關(guān)于輸入和內(nèi)部權(quán)重的相對(duì)平滑函數(shù)，就可以使用Werbos發(fā)明的反向傳播算法計(jì)算梯度[5]。

使用更少的神經(jīng)元（即更少的網(wǎng)絡(luò)參數(shù)）來刻畫對(duì)象，能夠減少系統(tǒng)的復(fù)雜程度，但也帶來了其他的麻煩：隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，目標(biāo)函數(shù)越來越容易陷入局部最優(yōu)解，且梯度消散（gradient vanishing）的現(xiàn)象也更加嚴(yán)重。

2006年，Geoffrey Hinton利用預(yù)訓(xùn)練（Pre- training）的方法緩解了局部最優(yōu)的問題，將網(wǎng)絡(luò)的隱含層數(shù)拓展到了7層，正式闡述了深度學(xué)習(xí)的概念，提出了對(duì)神經(jīng)網(wǎng)絡(luò)有效降維的重要思想，并指出具有多隱含層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)在可視化和分類上的優(yōu)勢(shì)[6-7]。為了解決梯度消散等一系列問題，ReLU[8]（rectified linear unit）、Maxout等傳遞函數(shù)代替了傳統(tǒng)的Sigmoid激活函數(shù)；Mini-batch、Momentum、變梯度與隨機(jī)梯度、變學(xué)習(xí)率、Regularization、Dropout等新技術(shù)的應(yīng)用形成了如今深度神經(jīng)網(wǎng)絡(luò)（deep neural networks, DNN）的基本形式，其亦是其他更先進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的雛形。

2 深度學(xué)習(xí)在電力領(lǐng)域內(nèi)的應(yīng)用

近幾年，隨著人工智能的大熱，深度學(xué)習(xí)技術(shù)被應(yīng)用到許多不同領(lǐng)域中，取得了許多突破性的成果，而在電力領(lǐng)域內(nèi)亦有深度學(xué)習(xí)技術(shù)的引入，但依然處于起步摸索階段，相關(guān)的論文與成果也較少，不如其在圖像識(shí)別、語音識(shí)別、語言處理等老本行上那么令人印象深刻，但也已經(jīng)表現(xiàn)出令人期待的潛力和發(fā)展前景。

縱觀深度學(xué)習(xí)的興起，很大程度上得益于3個(gè)方面的共同協(xié)作。

1）大數(shù)據(jù)的興起。如在CNN的崛起中扮演著重要角色的ImageNet計(jì)劃，該計(jì)劃由Feifei Li教授與普林斯頓大學(xué)的Kai Li教授合作發(fā)起，到2009年共收集到1500萬張包含22000種物品的圖片，成功改變了人工智能領(lǐng)域?qū)?shù)據(jù)集的認(rèn)識(shí)，也改變了學(xué)術(shù)界對(duì)神經(jīng)網(wǎng)絡(luò)模型的認(rèn)知。

2）計(jì)算機(jī)硬件的發(fā)展。高性能CPU和多GPU并行技術(shù)的帶來的計(jì)算能力的提升。

3）算法上的改進(jìn)。很難說清ImageNet數(shù)據(jù)集計(jì)劃和深度學(xué)習(xí)到底是誰成就了誰，或者二者是相互推動(dòng)的關(guān)系，但不可否認(rèn)的是，GPU帶來的計(jì)算能力的提升和ImageNet帶來的數(shù)據(jù)集，以及同時(shí)帶來的學(xué)術(shù)界對(duì)訓(xùn)練數(shù)據(jù)認(rèn)識(shí)的改變，對(duì)深度學(xué)習(xí)技術(shù)井噴發(fā)展的巨大推動(dòng)作用[9]。

而在電力智能化發(fā)展的今天，電力系統(tǒng)也同樣有著相同的背景：設(shè)備智能化，運(yùn)算能力加強(qiáng)，數(shù)據(jù)量爆炸式增長(zhǎng)，傳統(tǒng)的電力數(shù)據(jù)方法在面對(duì)海量的數(shù)據(jù)時(shí)已經(jīng)捉襟見肘，而深度學(xué)習(xí)所擅長(zhǎng)的正是對(duì)海量數(shù)據(jù)的挖掘。毫無疑問，電力智能化與深度學(xué)習(xí)是可以無縫融合，并擁有廣闊的前景。

目前，國(guó)內(nèi)外已有一些深度學(xué)習(xí)在電力領(lǐng)域內(nèi)的應(yīng)用，大部分都集中在故障檢測(cè)和決策優(yōu)化領(lǐng)域。后者通常是基于深度學(xué)習(xí)對(duì)電力大數(shù)據(jù)進(jìn)行挖掘和應(yīng)用[10]，在這一方面，由于數(shù)據(jù)量大，且容易獲取，所以目前研究較多，取得的成果也不少。而前者總的來說可以分成兩大類：①利用深度學(xué)習(xí)對(duì)系統(tǒng)中的關(guān)鍵參數(shù)提取特征，進(jìn)行學(xué)習(xí)，使得模型可以通過對(duì)關(guān)鍵參數(shù)的監(jiān)控發(fā)現(xiàn)故障或?qū)收线M(jìn)行預(yù)警[11-12]。這一類方式需要人工對(duì)系統(tǒng)進(jìn)行分析，選出用于分析學(xué)習(xí)的關(guān)鍵參數(shù)，從某種意義上來說，這一步驟也屬于需要人工干預(yù)的特征選取工作。但這類研究可以大量使用仿真的方式獲取數(shù)據(jù)構(gòu)建數(shù)據(jù)集，使用的模型深度也不需要太深，也比較容易出成果。②直接利用深度學(xué)習(xí)在圖像處理中的優(yōu)勢(shì)，利用圖像檢測(cè)的方式展開應(yīng)用，如利用深度學(xué)習(xí)對(duì)電網(wǎng)巡檢圖像進(jìn)行處理[13-14]。這一類應(yīng)用是直接對(duì)深度學(xué)習(xí)技術(shù)的遷移應(yīng)用，理論上是最成熟的，但受制于數(shù)據(jù)集的缺乏，使其難以進(jìn)行實(shí)際應(yīng)用。

3 展望

毫無疑問，深度學(xué)習(xí)技術(shù)在經(jīng)過了近幾年的蓬勃發(fā)展，已經(jīng)給這個(gè)世界帶來了太多的驚喜，也實(shí)際的改變了人類的生活方式。前幾年互聯(lián)網(wǎng)的迅猛發(fā)展帶來的龐大數(shù)據(jù)量，計(jì)算機(jī)計(jì)算能力的增加，使得早年受制于計(jì)算機(jī)計(jì)算性能和對(duì)數(shù)據(jù)集的忽視導(dǎo)致停滯不前的人工智能技術(shù)迎來了又一輪的浪潮，在最近幾年里，關(guān)于深度學(xué)習(xí)的捷報(bào)不斷傳來，但其實(shí)這一門學(xué)科仍然處在一個(gè)剛剛起步的階段，當(dāng)前的深度學(xué)習(xí)還存在許多問題，依然面臨著諸多挑戰(zhàn)。

在如今，經(jīng)過ImageNet的一輪洗禮，人們普遍認(rèn)識(shí)到數(shù)據(jù)集的重要性，甚至有觀點(diǎn)認(rèn)為：在如今的深度學(xué)習(xí)應(yīng)用中，我們面對(duì)的是工程問題（數(shù)據(jù)集的缺乏等），而非技術(shù)問題。不可否認(rèn)的是，在網(wǎng)絡(luò)結(jié)構(gòu)變得越來越深、越來越復(fù)雜的今天，網(wǎng)絡(luò)對(duì)現(xiàn)實(shí)的刻畫能力也越來越強(qiáng)，而訓(xùn)練它們所需要的數(shù)據(jù)量也要求越來越大，這就對(duì)訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)集提出了高要求，在諸如深度學(xué)習(xí)在電網(wǎng)巡檢圖像這類應(yīng)用中，目前真正制約它的是圖像數(shù)據(jù)集的缺乏[15-16]。如果要將深度學(xué)習(xí)應(yīng)用得更廣，那么如何以更小的樣本完成對(duì)深度網(wǎng)絡(luò)的訓(xùn)練無疑是需要解決的一個(gè)問題。而在自然語言處理方面，深度學(xué)習(xí)技術(shù)似乎還未取得太多的轟動(dòng)性進(jìn)展。另外，雖然非監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)近年來在監(jiān)督學(xué)習(xí)的光環(huán)之下顯得有些暗淡，但其依然是值得關(guān)注的發(fā)展方向。

不論在工程上解決數(shù)據(jù)集不足的問題，還是技術(shù)上滿足對(duì)大訓(xùn)練數(shù)據(jù)的要求，深度學(xué)習(xí)都無疑將在電網(wǎng)智能化的道路上發(fā)揮更大的作用。但是若無法從技術(shù)上解決這一問題，則無疑會(huì)加劇深度學(xué)習(xí)領(lǐng)域的馬太效應(yīng)，不論技術(shù)還是數(shù)據(jù)都會(huì)集中在少數(shù)巨頭身上，形成壁壘，不利于技術(shù)的發(fā)展。另外，深度學(xué)習(xí)在電力系統(tǒng)的應(yīng)用還有待開發(fā)，不僅僅是在技術(shù)領(lǐng)域使得技術(shù)更先進(jìn)，設(shè)備更智能；更多地，是可以在日常工作中進(jìn)行應(yīng)用，例如將深度學(xué)習(xí)在文本處理方面的應(yīng)用遷移至電網(wǎng)公司的運(yùn)作中，代替一些日常文案工作或繁雜而機(jī)械的勞務(wù)，以減輕電網(wǎng)從業(yè)人員的工作量，解放勞動(dòng)力。

近期，新的AlphaGo Zero橫空出世，相比原先的AlphaGo，其網(wǎng)絡(luò)模型進(jìn)行了簡(jiǎn)化和改進(jìn)，不再依賴于人類的經(jīng)驗(yàn)進(jìn)行學(xué)習(xí)，訓(xùn)練時(shí)間也更短，這一技術(shù)可能又將引發(fā)一次新的技術(shù)變革。深度學(xué)習(xí)，或者說人工智能是一門正處于爆發(fā)期的學(xué)科，其理論和成果正以一種匪夷所思的速度更迭，在未來電力智能化的領(lǐng)域中，它無疑將扮演著一個(gè)舉足輕重的角色。

[1] 孟丹. 基于深度學(xué)習(xí)的圖像分類方法研究[D]. 上海: 華東師范大學(xué), 2017.

[2] Rosenblatt F. The perceptron-a perceiving and recognizing automaton[Z]. 1957.

[3] Werbos P. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. PhD thesis, Harvad Univ, 1974.

[4] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors. Nature, 1986, 323: 533-536.

[5] LeCun Y, Bengio Y, Hinton G. Deep learning nature. 2015, 521: 436-444.

[6] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[7] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[8] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks. In Proc. 14th International Con- ference on Artificial Intelligence and Statistics, 2011.

[9] 余凱, 賈磊, 陳雨強(qiáng), 等. 深度學(xué)習(xí)的昨天、今天和明天[J]. 計(jì)算機(jī)研究與發(fā)展, 2013, 50(9): 1799-1804.

[10] 楊佳駒. 基于MapReduce和深度學(xué)習(xí)的負(fù)荷分析與預(yù)測(cè)[D]. 南京: 東南大學(xué), 2016.

[11] Bangalore P, Tjernberg L B. An artificial neural network approach for early fault detection of gearbox bearings[J]. IEEE Transactions on Smart Grid, 2015, 6(2): 980-987.

[12] He Youbiao, Mendis G J, Wei Jin. Real-Time detection of false data injection attacks in smart grid: a deep Learning-Based intelligent mechanism[J]. IEEE Transactions on Smart Grid, 2017, 8(5): 2505-2516.

[13] 高強(qiáng), 陽武, 李倩. DBN層次趨勢(shì)研究及其在航拍圖像故障識(shí)別中的應(yīng)用[J]. 儀器儀表學(xué)報(bào), 2015(36): 1267-1274.

[14] 王萬國(guó), 田兵. 基于RCNN的無人機(jī)巡檢圖像電力小部件識(shí)別研究. 地球信息科學(xué)學(xué)報(bào), 2017(19): 256-263.

[15] 劉輝海, 趙星宇, 趙洪山, 等. 基于深度自編碼網(wǎng)絡(luò)模型的風(fēng)電機(jī)組齒輪箱故障檢測(cè)[J]. 電工技術(shù)學(xué)報(bào), 2017, 32(17): 156-163.

[16] 王曉輝, 朱永利, 王艷, 等. 基于深度學(xué)習(xí)的電容器介損角在線辨識(shí)[J]. 電工技術(shù)學(xué)報(bào), 2017, 32(15): 145-152.

Thinking of deep learning and grid intelligence

Huang Xuchao

(Fujian Electric Power Co., Ltd, Maintenance Branch Company, Fuzhou 350000)

This article reviews the development history of deep learning and introduces the details of the basic network of deep learning—the structure and characteristics of deep neural networks. Based on this, it analyzes the derivatives and variants that it generates. Summed up the main factors in the development of deep learning. Combining with the situation of grid intelligence, the feasibility and necessity of combining deep learning with grid intelligence are described, and the application of current deep learning in power systems is briefly introduced.

artificial intelligence; deep learning; grid intelligence

2018-05-11

黃旭超（1989-），男，福建閩清人，碩士研究生，工程師，主要從事變電運(yùn)行維護(hù)、管理及檢修工作。