黃東瑞 毛克彪 郭中華 徐樂園 胡澤民 趙 瑞

(*寧夏大學物理與電子電氣工程學院 銀川 750021)

(**中國農業(yè)科學院農業(yè)資源與農業(yè)區(qū)劃研究所 北京 100081)

0 引言

深度學習是機器學習的重要分支,近年來受到眾多行業(yè)的普遍關注。如今,深度學習已經在圖像分類、自然語言識別、語音識別、語義分割等多個領域得到廣泛的應用并且產生了令人滿意的效果,甚至在某些方面的表現(xiàn)已經超過人類。深度學習之所以能夠發(fā)揮如此強大的作用,與數(shù)據(jù)的海量增長、硬件算力的不斷提升、算法的持續(xù)更新是密不可分的。

神經網(wǎng)絡模型作為深度學習的重要載體為深度學習的快速發(fā)展提供了良好的條件。人工神經網(wǎng)絡受到動物神經網(wǎng)絡系統(tǒng)的啟發(fā)可對大量數(shù)據(jù)進行線性學習,而后引入激活函數(shù)增強其非線性表達能力,進而結合反向傳播算法使其對圖像、語音等數(shù)據(jù)具有強大的學習能力。隨著數(shù)字化網(wǎng)絡化進程的不斷加快,圖像、語音、文字等數(shù)據(jù)量的爆發(fā)式增長為人工神經網(wǎng)絡提供了海量的可學習數(shù)據(jù)。中央處理器(central processing unit,CPU)、圖形處理器(graphics processing unit,GPU)、時間處理單元(time processing unit,TPU)、現(xiàn)場可編程門陣列(field-programble gate array,FPGA)等硬件設備計算能力的快速增長使得神經網(wǎng)絡模型可實現(xiàn)對大量數(shù)據(jù)的高效計算。隨機梯度下降(stochastic gradient descent,SGD)、Momentum、自適應梯度下降(adaptive gradient descent,AdaGrad)、均方根傳播(root mean square propagation,RMSProp)等算法的不斷涌現(xiàn)使得神經網(wǎng)絡模型表現(xiàn)出更加優(yōu)異的性能。因此,神經網(wǎng)絡模型逐漸可以解決現(xiàn)實世界中許多復雜的問題,更靠近真正意義上的人工智能。

現(xiàn)有深度學習綜述文獻多是以單個神經網(wǎng)絡或單一領域進行綜述,對深度學習領域的其他經典模型、應用領域少有提及。由于神經網(wǎng)絡經典模型是大量變體模型的基礎,因此本綜述對神經網(wǎng)絡經典模型進行較為全面、詳盡的闡述并梳理出了各經典模型的內在聯(lián)系,旨在為初入深度學習領域的研究人員了解神經網(wǎng)絡經典模型提供一條高效的路徑。

1 發(fā)展概述

1943 年,MP 模型[1]被首次提出,表明對人工神經網(wǎng)絡的研究正式拉開序幕。1949 年,具有重大歷史意義的無監(jiān)督學習方法——赫布(Hebb)規(guī)則的提出,成為發(fā)展神經網(wǎng)絡研究的堅實基礎。20 世紀50 年代末,一種類似于人類學習過程的算法——感知器的產生對人工神經網(wǎng)絡的發(fā)展具有無可替代的重大意義。1958 年,最簡單的雙層人工神經網(wǎng)絡被正式提出。但在1969 年,人們發(fā)現(xiàn)感知器(Perceptron)無法解決非線性分類問題。因此從20 世紀70年代開始的近20 年里,人工神經網(wǎng)絡的研究幾乎未取得任何實質性進展,使其進入了第1 個低谷期(圖1)。

圖1 深度學習發(fā)展歷程

1982 年,一種具有存儲功能的循環(huán)神經網(wǎng)絡——Hopfield 神經網(wǎng)絡[2]被首次提出,但其易陷入局部極小點的問題一直未得到很好的解決,因此該網(wǎng)絡并未受到足夠的重視。直到1986 年,反向傳播(back propagation,BP)算法[3]的提出使得線性不可分問題得到了有效的緩解,學術界再度對人工神經網(wǎng)絡產生極大的興趣。但受當時硬件算力水平的影響,梯度消失問題會隨神經網(wǎng)絡規(guī)模的增大而產生,嚴重影響了BP 算法的發(fā)展。另外20 世紀90 年代中期,人們提出了一類與人工神經網(wǎng)絡原理截然不同的算法——淺層機器學習,使得機器學習問題得到了較好的解決。因此對深度學習的研究再一次陷入低谷。

2006 年,深度學習[4]的概念被正式提出,人們通過無監(jiān)督學習正向傳播與有監(jiān)督學習反向傳播相結合的策略有效地緩解了梯度消失問題。學術界和工業(yè)界對深度學習方法的提出反應非常劇烈,先是以眾多世界知名高校為首的科研團隊對其進行研究,隨后許多企業(yè)也在深度學習領域進行了部署。2012 年,神經網(wǎng)絡模型AlexNet[5]在ImageNet 競賽(ILSVRC)中以錯誤率15%的佳績一舉奪得該年度冠軍。其中,ReLU 激活函數(shù)和GPU 的使用分別在緩解梯度消失問題和提高硬件算力問題上起到了重要作用。2016 年,在李世石和AlphaGo[6]的比賽中,李世石以1 ∶4 不敵AlphaGo,并且AlphaGo 又在后來的多場人機圍棋比賽中完勝人類對手,深度學習一時間備受關注。2017 年,AlphaGo Zero[7]被提出,并以100 ∶0 完勝此前的AlphaGo。同年,深度學習在無人駕駛、藝術、醫(yī)療、金融等領域得到了廣泛的應用。

2 卷積神經網(wǎng)絡

卷積神經網(wǎng)絡(convolutional neural network,CNN)是前饋神經網(wǎng)絡的一類特殊模型,也是深度學習算法中使用較為廣泛的一類神經網(wǎng)絡模型[8],如圖2 所示。此類神經網(wǎng)絡的局部連接、權值共享[9]特點是受到動物視覺神經網(wǎng)絡系統(tǒng)的啟發(fā)而產生的,有效增強了模型的魯棒性,降低了網(wǎng)絡的計算復雜度。卷積神經網(wǎng)絡在自然語言處理、語音分析和圖像識別等領域使用十分廣泛并且取得了顯著的成果。

圖2 卷積神經網(wǎng)絡示意圖

2.1 模型介紹

卷積神經網(wǎng)絡中的“卷積”一詞是由LeCun 等人[10]在對其網(wǎng)絡結構進行介紹時提出的。為識別手寫體數(shù)字,LeCun 等人[10]于1998 年開發(fā)了名為LeNet-5 的卷積神經網(wǎng)絡。卷積層+池化層+卷積層+池化層+全連接層+全連接層+輸出層是LeNet-5 的網(wǎng)絡結構,LeNet-5 網(wǎng)絡規(guī)模并不大,但是全連接層、卷積層、池化層等基本模塊是后續(xù)各類卷積神經網(wǎng)絡的重要組成部件,其網(wǎng)絡結構的排列方式也對后來的卷積神經網(wǎng)絡架構產生了一定的影響。

2.2 原理分析

在全連接神經網(wǎng)絡中,若第k層有Mk個神經元,第k-1 層有Mk-1個神經元,則連接邊有Mk×Mk-1個,即權值矩陣包括Mk×Mk-1個元素。當Mk和Mk-1都很大時,權值矩陣的元素數(shù)量劇增,網(wǎng)絡訓練的效率驟然降低。若采用卷積來代替全連接,第l層的凈輸入z(l)主要為第l-1 層輸出值a(l-1)和卷積核w(l)∈RK的卷積,即:

其中卷積核w(l)∈RK為可學習的權值向量,b(l)∈R 為可學習的偏置。卷積神經網(wǎng)絡的優(yōu)點有:局部連接和權值共享方法有效降低了權值矩陣所含元素數(shù)量,同時卷積核在提取數(shù)據(jù)信息時受數(shù)據(jù)位置平移的影響明顯減小,使得網(wǎng)絡的泛化能力顯著增強;池化運算進一步降低網(wǎng)絡參數(shù)量,在減少網(wǎng)絡計算量的同時更降低了輸入數(shù)據(jù)位置變化對網(wǎng)絡的影響,有效提升了網(wǎng)絡的魯棒性;相較于傳統(tǒng)機器學習,該網(wǎng)絡無需進行復雜的特征工程,并且網(wǎng)絡的輸入數(shù)據(jù)可以是高維的。

2.3 網(wǎng)絡訓練

卷積神經網(wǎng)絡通常是由輸入層、卷積層、激活層、池化層、全連接層、輸出層組合而成。整個網(wǎng)絡的運行過程為:原始數(shù)據(jù)由輸入層輸入網(wǎng)絡,卷積層提取輸入數(shù)據(jù)特征得到特征圖,池化層對其進行池化采樣,實現(xiàn)了對特征圖的降維操作。特征圖經由激活函數(shù)映射,為網(wǎng)絡引入非線性特征,增強網(wǎng)絡的表達能力。全連接層采用線性特征映射進行信息匯總,匯總信息通過輸出層輸出結果,用于解決分類、回歸等機器學習問題。前向傳播和反向傳播是一般卷積神經網(wǎng)絡的2 個訓練階段。具體訓練過程如圖3所示。

圖3 卷積神經網(wǎng)絡訓練流程圖

卷積神經網(wǎng)絡的一般訓練過程為:(1)初始化網(wǎng)絡參數(shù);(2)輸入數(shù)據(jù)由隱藏層處理后,經前向傳播得到輸出值;(3)得到實際值和輸出值的差值;(4)在差值大于閾值時,求得網(wǎng)絡各參數(shù)對于總誤差的梯度,并參考梯度的大小對相應參數(shù)進行調整;(5)返回步驟(2)繼續(xù)訓練,直到差值不大于閾值時,網(wǎng)絡訓練過程結束。

2.4 模型改進

卷積神經網(wǎng)絡也有其不足之處:輸入數(shù)據(jù)的尺寸必須一致,否則將難以進行訓練;該網(wǎng)絡無記憶、存儲功能,對視頻、語音、文本等序列數(shù)據(jù)處理能力較差;當網(wǎng)絡的規(guī)模不斷增大時模型極易發(fā)生梯度消失等問題。當然,隨著卷積神經網(wǎng)絡的發(fā)展,不斷涌現(xiàn)出諸多優(yōu)秀的改進模型。AlexNet 于2012 年所提出的網(wǎng)絡架構,如圖4 所示。該模型在ILSVRC-2012 大賽圖像分類任務中,以前5 錯誤率15.3%的優(yōu)異成績奪得冠軍,并且遠超錯誤率為26.2%的第2 名。該模型的成功應用使人們對CNN 乃至深度學習產生了強烈的興趣。

圖4 AlexNet 結構示意圖

該網(wǎng)絡架構比LeNet-5 略復雜一些,有5 個卷積層和3 個全連接層,在第1、2、5 個卷積層有最大池化層緊隨其后,用來降低輸入數(shù)據(jù)維度、提高模型魯棒性。使用ReLU 激活函數(shù)進一步增強了網(wǎng)絡非線性表達能力,有效加快了網(wǎng)絡訓練速度、抑制梯度消失問題。在硬件上使用2 塊GTX580 GPU 大幅提升了網(wǎng)絡的計算速度。該項研究還提出了一系列行之有效的神經網(wǎng)絡編寫技巧,例如提出了局部響應歸一化來提高網(wǎng)絡準確率增強模型的泛化能力、采用了數(shù)據(jù)增強方法顯著擴充數(shù)據(jù)集、使用了Dropout[11]打破神經元間的聯(lián)合依賴性來共同抑制網(wǎng)絡過擬合。相比于LeNet-5,其準確率得到了進一步提升。除了AlexNet 還有ZFNet(Zeiler&Fergus network)[12]、VGG (visual geometry group)[13]、GoogLeNet[14]、殘差網(wǎng)絡(residual network,Res-Net)[15]等改進模型。相關內容如表1 所示,其模型詳細內容可參考文獻[16]。

表1 卷積神經網(wǎng)絡改進模型對照表

3 循環(huán)神經網(wǎng)絡

循環(huán)神經網(wǎng)絡(recurrent neural network,RNN)是遞歸神經網(wǎng)絡中的一類特殊模型,該模型節(jié)點均采用鏈式連接,而且沿著序列的演進方向進行遞歸。該網(wǎng)絡的記憶功能可有效地將歷史信息與當前信息進行綜合處理。一般神經網(wǎng)絡都是同時對輸入數(shù)據(jù)進行處理的,無法高效地處理具有序列特征的數(shù)據(jù)。RNN 網(wǎng)絡結構非常適合處理序列數(shù)據(jù),可從序列輸入數(shù)據(jù)中提取出有效的特征信息。RNN 在時序分析、自然語言處理、機器翻譯以及語音識別等領域都有著非凡的表現(xiàn)。

3.1 模型介紹

為解決語音處理問題,Elman[17]于1990 年開發(fā)了Elman神經網(wǎng)絡,該網(wǎng)絡也是首個全連接循環(huán)神經網(wǎng)絡。為使Elman 神經網(wǎng)絡具有記憶功能,該網(wǎng)絡在隱藏層中多增加了一個延時模塊——承接層。該網(wǎng)絡顯著的特點是具有局部記憶功能和局部反饋連接。Elman 神經網(wǎng)絡為循環(huán)神經網(wǎng)絡發(fā)展提供了一個良好的基礎,后來又開發(fā)出了長短期記憶網(wǎng)絡(long short-term memory network,LSTM)、門控循環(huán)單元(gated recurrent unit,GRU)等優(yōu)秀的改進模型。

循環(huán)神經網(wǎng)絡示意圖如圖5 所示,右側是左側的展開圖。循環(huán)神經網(wǎng)絡是序列從左到右的一個過程,可看作是循環(huán)神經網(wǎng)絡的發(fā)展模式。I代表輸入值,t是當前時刻,t-1 是上一時刻,t+1 是下一時刻。O代表輸出值。這表明隱藏層的值Ht綜合了當前的輸入值It和前一時刻隱藏層狀態(tài)Ht-1的信息。

圖5 循環(huán)神經網(wǎng)絡示意圖

3.2 原理分析

簡單循環(huán)神經網(wǎng)絡在時刻t的更新公式為

其中zt為隱藏層的凈輸入,U∈RD×D為狀態(tài)-狀態(tài)權值矩陣,w∈RD×M為狀態(tài)-輸入權值矩陣,b∈RD為偏置向量,f(·) 是非線性激活函數(shù)。式(2)和式(3)也經常直接寫為

循環(huán)神經網(wǎng)絡的優(yōu)點為:理論上不限制序列輸入數(shù)據(jù)長度;模型形狀具有很好的穩(wěn)定性;計算考慮了歷史信息,具有記憶功能;權值隨時間共享。

3.3 網(wǎng)絡訓練

循環(huán)神經網(wǎng)絡一般包括輸入層、隱藏層、承接層和輸出層。整個網(wǎng)絡的運行過程為:序列數(shù)據(jù)由輸入層傳入網(wǎng)絡,隱藏層對數(shù)據(jù)進行信息提取、降維、非線性映射等操作,所獲得信息由承接層將其進行延時操作與下一時刻的輸入值共同輸入網(wǎng)絡參與下一時刻數(shù)據(jù)處理,沿序列演進方向如此往復行進。輸出層輸出的信息必將是當前時刻和之前所有歷史輸入值的綜合信息,從而使循環(huán)神經網(wǎng)絡具有記憶功能。前向傳播和隨時間反向傳播是一般循環(huán)神經網(wǎng)絡的2 個訓練階段。循環(huán)神經網(wǎng)絡的一般訓練過程為:(1)初始化網(wǎng)絡參數(shù);(2)輸入數(shù)據(jù)由隱藏層處理后,經前向傳播得到輸出值,同時將輸出值傳入承接層與下一時刻數(shù)據(jù)再次輸入網(wǎng)絡進行數(shù)據(jù)處理,沿序列演進方向如此往復行進;(3)計算輸出值與實際值之間的差值;(4)當誤差大于閾值時,求得網(wǎng)絡各參數(shù)對于總誤差的梯度,并參考梯度的大小對各個參數(shù)進行調整;(5)返回步驟(2)繼續(xù)訓練,直到誤差不大于閾值時,網(wǎng)絡訓練過程結束。

3.4 模型改進

循環(huán)神經網(wǎng)絡也有其不足之處:計算速度慢;難以獲取長期歷史信息;無法考慮當前狀態(tài)與未來輸入信息之間的聯(lián)系;易出現(xiàn)梯度消失等問題。隨著循環(huán)神經網(wǎng)絡的發(fā)展,研究人員開發(fā)出大量優(yōu)秀的改良模型。LSTM 首先是由Hochreiter 和Schmidhuber[18]于1997 年提出的網(wǎng)絡構架,后經Graves 改良與推廣,如今已被廣泛的應用于語音識別、機器翻譯等領域。由于其引入“門”的概念,使其擁有優(yōu)異的序列數(shù)據(jù)學習能力,為后續(xù)RNN 模型改進提供了明確的方向。其模型結構如圖6 所示。

圖6 LSTM 結構示意圖

相較于之前的RNN 網(wǎng)絡結構,該模型由遺忘門+輸入門+輸出門的門控單元組合而成。該網(wǎng)絡結構理論上可處理任意長序列數(shù)據(jù),可遺忘無效信息實現(xiàn)上下文有效信息存儲和更新,進而使長短期記憶有機結合,有效緩解了長期依賴、梯度消失等問題。除了LSTM 還有深度門限LSTM[19]、簡單循環(huán)單元(simple recurrent unit,SRU)[20]、雙向循環(huán)神經網(wǎng)絡(bidirectional recurrent neural network,BRNN)[21]、GRU[22]、GRU-D(GRU with decay)[23]等改進模型。相關內容如表2 所示,其模型詳細內容可參考文獻[24]。

表2 循環(huán)神經網(wǎng)絡改進模型對照表

4 生成對抗網(wǎng)絡

生成對抗網(wǎng)絡(generative adversarial network,GAN)在結構上采用隱性對抗來替代數(shù)學上的顯性表示,并且該網(wǎng)絡模型訓練的可收斂性在數(shù)學上已經得到了一定程度證明,模型結構如圖7 所示。近年來,該神經網(wǎng)絡已成為無監(jiān)督學習中最具前景的方法之一。GAN 可在不設置任何前提條件的情況下生成real-like 樣本,有效擺脫了神經網(wǎng)絡模型對有監(jiān)督學習方式的依賴,降低了模型訓練成本。GAN 最直接的應用是數(shù)據(jù)生成,同時在圖像翻譯、視頻生成和自然語言處理等領域都有應用。

4.1 模型介紹

Goodfellow 等人[25]于2014 年開發(fā)出了以對抗方式進行模型訓練的神經網(wǎng)絡新框架——GAN。在整個訓練過程中可以對捕獲數(shù)據(jù)分布的生成器G和判斷數(shù)據(jù)是否為真的判別器D 進行訓練。訓練好的GAN 模型包含性能良好的生成器和判別器,因此使得人工神經網(wǎng)絡具有了創(chuàng)造能力。GAN 為后續(xù)許多優(yōu)異的改進網(wǎng)絡模型打下了堅實的基礎,為深度學習的發(fā)展做出了重大貢獻。

4.2 原理分析

GAN 網(wǎng)絡模型可以由CNN、RNN 等人工神經網(wǎng)絡中的一種或多種共同組成,實現(xiàn)相應功能即可。判別器D 本質上是一種二分類的分類器,其目標是對輸入樣本x進行分類并形成真實樣本分布Pr(x)和生成樣本分布Pθ(x)。若用y=1 代表來自真實樣本,用y=0 代表來自生成樣本。判別器D(x;φ)的判斷輸入樣本x屬于真實樣本的分布概率為

則輸入樣本x屬于生成樣本的分布概率為

其中θ和φ分別是生成器和判別器的參數(shù)。生成對抗網(wǎng)絡的優(yōu)點有:(1)無需大量有標簽訓練樣本,降低訓練成本;(2)訓練時無需推斷隱變量;(3)生成器可用于機器創(chuàng)作;(4)判別器可用于機器分類。

4.3 網(wǎng)絡訓練

生成器G 將真實樣本中的元素與隨機噪聲進行組合,生成盡可能逼近真實數(shù)據(jù)的假樣本來欺騙判別器D。判別器D 通過對輸入樣本真?zhèn)蔚呐袛嘟Y果來優(yōu)化網(wǎng)絡模型。若判別器D 能夠準確判斷出輸入樣本的真?zhèn)?則需要調節(jié)生成器G 參數(shù)使其盡可能生成仿真度更高的假樣本;若判別器D 總是難以準確判斷出輸入樣本的真?zhèn)?則需要調整判別器D 參數(shù)使其盡可能做出準確的判斷。這樣判別器D和生成器G 之間就會形成一種相互對抗。其最為理想的結果是判別器D 已經無法判斷真?zhèn)?此時即可產生一個可以用于機器創(chuàng)作的高質量生成器和一個可以用于機器分類的高水平分類器。生成對抗網(wǎng)絡的2 個訓練階段分別為:判別器訓練階段和生成器訓練階段。該網(wǎng)絡的一般訓練過程為:(1)初始化各網(wǎng)絡模型的參數(shù);(2)分別從真實樣本集和生成樣本集中取出相同數(shù)量的n個樣本,鎖定生成器G 參數(shù)先對判別器D 進行k次訓練,根據(jù)相應誤差梯度對判別器D 各參數(shù)進行調節(jié);(3)判別器D 進行k次訓練結束之后,再對生成器G 進行一次更新,根據(jù)相應誤差梯度對生成器G 各參數(shù)進行更新;(4)經過若干輪更新迭代后,若可使判別器D 的判斷概率達到0.5,即無法區(qū)分輸入樣本的真?zhèn)?方可停止訓練。

4.4 模型改進

生成對抗網(wǎng)絡也有其缺點:對文本等離散數(shù)據(jù)的處理效果不佳;對于較大的圖片不太可控;存在訓練不穩(wěn)定、模式崩潰、梯度消失等問題。近年來,不斷有優(yōu)秀的改進模型被提出。條件生成對抗網(wǎng)絡(conditional generative adversarial network,CGAN)是由Mirza 和Osindero[26]于2014 年提出的網(wǎng)絡模型。該模型以其優(yōu)異的性能在圖像生成、圖像修復等領域得到相關人員的廣泛關注與好評。該模型也為GAN 的改進提供了一個很好的思路。其模型結構如圖8 所示。

圖8 CGAN 結構示意圖

該模型的主要改進不是在網(wǎng)絡結構上,而是額外增加了輔助信息作為輸入數(shù)據(jù)的一部分,通過附加參數(shù)與潛在空間影響生成數(shù)據(jù),進而對整個網(wǎng)絡起到約束的作用,同時有效緩解較大圖片不太可控問題、控制該模型的生成效果。除了CGAN 之外還有深度卷積對抗生成網(wǎng)絡(deep convolutional generative adversarial network,DCGAN)[27]、雙向生成對抗網(wǎng)絡(bidirectional generative adversarial network,BiGAN)[28]、Wasserstein生成對抗網(wǎng)絡(Wasserstein generative adversarial network,WGAN)[29]、梯度懲罰Wasserstein 生成對抗網(wǎng)絡(Wasserstein generative adversarial network with gradient penalty,WGAN-GP)[30]、邊界平衡生成對抗網(wǎng)絡(boundary equilibrium generative adversarial network,BEGAN)[31]、輔助分類生成對抗網(wǎng)絡(auxiliary classifier generative adversarial network,ACGAN)[32]等改進模型。相關內容如表3 所示,其模型詳細內容可參考文獻[33]。

表3 生成對抗網(wǎng)絡改進模型對照表

5 圖神經網(wǎng)絡

圖神經網(wǎng)絡(graph neural network,GNN)是在圖結構數(shù)據(jù)處理方面具有絕對優(yōu)勢的一類人工神經網(wǎng)絡模型,其主要的任務是提取圖結構數(shù)據(jù)中的特征和發(fā)掘其模式,可完成例如聚類、預測、生成、分割、分類等具體任務[34]。GNN 把實際問題看作圖中節(jié)點間的連接和信息傳遞,對節(jié)點間的依賴性進行建模,有效實現(xiàn)了對真實世界中非歐式結構數(shù)據(jù)更好的處理。GNN 在軌跡預測、圖像處理、藥物醫(yī)學、交通流量、物理化學和自然語言處理等領域有非凡的表現(xiàn)。除此以外,在網(wǎng)絡圖分析、知識圖譜與知識庫、信息檢索等領域也有應用。

5.1 模型介紹

GNN 是Gori 等人[35]在2005 年首次提出的,其本質是用RNN 對節(jié)點進行特征映射和節(jié)點聚合的方式對圖結構數(shù)據(jù)進行處理。GNN 的主體框架由RNN 組成,圖結構數(shù)據(jù)中表示每個節(jié)點的向量式都可由其自身、相鄰節(jié)點和相鄰邊的狀態(tài)通過特征映射后獲得,然后在訓練過程中采用反向傳播算法對整個網(wǎng)絡模型進行優(yōu)化。隨著圖結構數(shù)據(jù)處理需求的不斷增加,傳統(tǒng)算法有很大局限性,而GNN 以其可直接對圖結構數(shù)據(jù)進行處理的特性受到研究人員的普遍關注。

5.2 原理分析

假設任意一個圖結構數(shù)據(jù)的節(jié)點集合為v,邊集合為ε,可將此圖表示為G(v,ε)。兩節(jié)點間的依賴關系可用相應邊進行表示,各邊為有向邊還是無向邊可根據(jù)圖所表達的實際情況做出判斷。用一組神經元來表示節(jié)點v的狀態(tài)H(v),用節(jié)點v的輸入特征x(v) 來表示初始狀態(tài)。各節(jié)點在綜合相鄰節(jié)點和相鄰邊的消息后,對自身狀態(tài)進行更新。

其中N(v) 表示節(jié)點v的相鄰節(jié)點集合表示在第t時刻節(jié)點v收到的信息,e(u,v) 為對應邊上的特征。圖神經網(wǎng)絡的優(yōu)點:可處理結構極其不規(guī)則的非歐幾里得空間數(shù)據(jù);能夠高效地利用樣本實例之間的結構性特征;是認知智能發(fā)展強有力的推理方法。

5.3 網(wǎng)絡訓練

一般的圖神經網(wǎng)絡包括節(jié)點、邊、圖。節(jié)點級任務為預測每個節(jié)點的類型;邊級任務為預測每個邊的屬性;圖級任務為預測整個圖的屬性。給定一個圖,首先將節(jié)點轉化為遞歸單元,對所有節(jié)點執(zhí)行n次鄰域聚合;將邊轉化為前饋神經網(wǎng)絡進行消息傳遞;對所有節(jié)點的嵌入向量求和來表示圖形的屬性。該網(wǎng)絡的2 個訓練階段分別為前向傳遞階段和反向傳播階段。一般訓練過程為:(1)初始化網(wǎng)絡的參數(shù);(2)輸入數(shù)據(jù)經由連接邊前向傳播對所有節(jié)點執(zhí)行n次鄰域聚合得到輸出值;(3)計算輸出值與實際值之間誤差;(4)在誤差大于閾值時,求得網(wǎng)絡總誤差對各參數(shù)的梯度,并參考梯度大小對相應參數(shù)進行調整;(5)返回第(2)步繼續(xù)訓練,直到誤差不大于閾值時,網(wǎng)絡訓練過程結束。

5.4 模型改進

圖神經網(wǎng)絡的缺點為更新不動點隱藏狀態(tài)低效、原始GNN 無法有效處理邊緣信息等問題。隨著圖神經網(wǎng)絡的發(fā)展,改進模型不斷涌現(xiàn)。分層圖神經網(wǎng)絡(layered graph neural network,LGNN) 是Bandinelli 等人[36]于2010 年提出的網(wǎng)絡模型,在相關領域中該模型取得了良好的應用效果。該模型為圖神經網(wǎng)絡搭建深層結構提供一條行之有效的途徑,其模型結構如圖9 所示。

圖9 LGNN 結構示意圖

該模型在結構上采用逐層級聯(lián)的方式,并將原始數(shù)據(jù)與上一層輸出數(shù)據(jù)共同作為下一層輸入信息進行處理。該模型使用漸進式學習方法,有效緩解長期依賴問題。除了LGNN 外,還有圖卷積神經網(wǎng)絡(graph convolutional neural network,GCNN)[37]、門控圖神經網(wǎng)絡(gated graph sequence neural network,GGS-NN)[38]、圖注意力網(wǎng)絡[39]、圖自編碼器[40]、圖生成對抗網(wǎng)絡(graph generative adversarial network,GraphGAN)[41]、圖分割神經網(wǎng)絡(graph partition neural network,GPNN)[42]、動態(tài)圖神經網(wǎng)絡(dynamic graph neural network,DGNN)[43]、時空圖網(wǎng)絡[44]等改進模型。相關內容如表4 所示,其模型詳細內容可參考文獻[45]。

表4 圖神經網(wǎng)絡改進模型對照表

6 結論

本文主要對4 種常用神經網(wǎng)絡經典模型分別從模型介紹、原理分析、網(wǎng)絡訓練、模型改進4 個方面進行了全面而具體的闡述。每一個經典模型的誕生在技術手段上都給傳統(tǒng)領域帶來了巨大的變化,而改進模型又進行了技術改良,更有針對性地解決了具體問題,更好地適應具體任務,在實際應用中發(fā)揮出更大的作用。當然,也產生了許多新型的應用領域。這些專屬于深度學習的領域為人類拓寬了視野、拓展了思維。

卷積神經網(wǎng)絡和循環(huán)神經網(wǎng)絡分別在空間尺度和時間尺度為深度學習的發(fā)展在數(shù)學原理、模型結構、優(yōu)化方法等方面奠定了堅實基礎。生成對抗網(wǎng)絡的出現(xiàn)為深度學習提供了一個有別于此前的思路:讓模型在相互對抗中得以訓練提高。而圖神經網(wǎng)絡是將深度學習的適用范圍從人為規(guī)則的歐式數(shù)據(jù)擴展到自然的不規(guī)則的非歐氏數(shù)據(jù),使得深度學習進一步貼近人類真實世界。因此,對神經網(wǎng)絡經典模型的全面了解更有利于把握深度學習的脈絡,也為研究、應用深度學習提供了較為清晰的指引。

神經網(wǎng)絡隱藏層涉及大量超參數(shù)設置,往往需要研究人員耐心且認真地調試。更值得注意的是,隱藏層的設計目前并沒有一套成熟而可靠的規(guī)則,幾乎都是憑借調試人員的經驗進行的,因此未在本文中重點介紹。深度學習的內容及其豐富,無法做到面面俱到,涉及到具體領域時,還需進行更加深入和細膩的學習。原理部分只能從最簡單的數(shù)學推導加以說明,不能完全對神經網(wǎng)絡的運行機制進行合理的解釋,這也是深度學習無法在一些特殊領域、特殊場景中使用的主要原因。可解釋性一直是深度學習領域的研究熱點。

近年來研究人員對卷積神經網(wǎng)絡展開了全面而深入的研究,其發(fā)展方向主要包括增加網(wǎng)絡模型的深度來達到改善準確率的目的、減少網(wǎng)絡模型參數(shù)數(shù)量來降低訓練成本。循環(huán)神經網(wǎng)絡的未來發(fā)展可從網(wǎng)絡結構的探究、混合神經網(wǎng)絡的構建、加速計算和更新變體等角度進行深入探討。生成對抗網(wǎng)絡與人類對于深度學習的追求最為相符,即可實現(xiàn)機器大腦通過自主學習完全替代甚至超越人類。GAN的未來發(fā)展可從理論探索、內部機理透明化、規(guī)范評價標準、領域擴展、圖像生成質量與多樣性等方面進行深入研究。圖神經網(wǎng)絡的發(fā)展可從優(yōu)化網(wǎng)絡結構、增強網(wǎng)絡可解釋性、豐富數(shù)據(jù)結構等方面進行研究。

知識蒸餾是將復雜高效的教師模型所獲得的知識遷移到簡單輕量化的學生模型上,以實現(xiàn)神經網(wǎng)絡在低算力、少資源的設備上良好運行的目的,使得深度學習可以應用在邊緣設備上,因此對知識蒸餾的進一步研究具有十分重要的意義。由于深度學習隱式的表達數(shù)據(jù)背后的潛在特征,參數(shù)動輒幾百上千萬甚至更多,目前仍沒有完備的數(shù)學理論對模型的優(yōu)化做指導,使得模型優(yōu)化只能通過大量數(shù)據(jù)訓練來實現(xiàn)。對深度學習內部原理的研究是進一步發(fā)展深度學習的關鍵問題。通常情況下,提高模型精度往往通過增加模型規(guī)模和訓練時長來實現(xiàn),需要消耗大量時間和資源。模型規(guī)模、訓練時長、模型精度的平衡問題亟待解決。