王瑋+李福進(jìn)

摘 要：針對深度神經(jīng)網(wǎng)絡(luò)在只存在少量訓(xùn)練樣本時容易出現(xiàn)過擬合的問題，文中將Dropout算法與深度信念網(wǎng)絡(luò)相結(jié)合，以解決神經(jīng)網(wǎng)絡(luò)在訓(xùn)練階段識別正確率高，但在測試階段識別正確率不高的問題。將加入Dropout 的深度信念網(wǎng)絡(luò)和未加入Dropout的網(wǎng)絡(luò)在ORL人臉庫中進(jìn)行對比，實驗結(jié)果表明，加入Dropout網(wǎng)絡(luò)的系統(tǒng)誤識率更低，對于防止過擬合有很好的效果。

關(guān)鍵詞：深度信念網(wǎng)絡(luò)；過擬合；Dropout；人臉識別

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2018）02-00-03

0 引 言

人臉識別技術(shù)屬于生物特征識別技術(shù)，歸屬于熱門的計算機技術(shù)研究領(lǐng)域。人臉識別方法包括以下幾種：

（1）幾何特征方法[1]：通過眼睛、鼻子、嘴巴等五官的幾何位置進(jìn)行識別；

（2）特征臉方法[2]：將人臉圖像變換到一個低維空間上，進(jìn)行相似性衡量和分類學(xué)習(xí)實現(xiàn)人臉識別；

（3）神經(jīng)網(wǎng)絡(luò)方法[3]：通過學(xué)習(xí)圖像的低維特征到高維特征的映射，得到人臉圖像的本質(zhì)特征，具有非常好的識別效果。

近幾年，深度學(xué)習(xí)取得了巨大進(jìn)步，特別是在圖像識別、語音識別、自然語言處理等領(lǐng)域取得了突破性進(jìn)展[4]。2016年，AlphaGo首次打敗圍棋專業(yè)棋手韓國名將李世石，讓深度學(xué)習(xí)進(jìn)入到了公眾視野。深度學(xué)習(xí)是一種模仿人類深度腦組織結(jié)構(gòu)，采用分層處理方式處理數(shù)據(jù)，對輸入數(shù)據(jù)提取不同水平的特征，并逐層形成從低層信號到高層特征對應(yīng)表示的方法。目前，被廣泛使用的深度學(xué)習(xí)方法包括稀疏自動編碼算法（SAE）[5]、深度卷積神經(jīng)網(wǎng)絡(luò)（Deep CNN）[6]和深度信念網(wǎng)絡(luò)（DBN）[7] 等。其中，DBN是最具代表性的深度學(xué)習(xí)方法，具有較強的函數(shù)表征能力，能夠從較少的樣本中學(xué)習(xí)到最本質(zhì)的數(shù)據(jù)特征。

過擬合是深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一個常見問題，即模型在訓(xùn)練集上能夠較好地分類，但在測試集上卻具有較高的誤識率。Hinton首次提出Dropout策略[8]，即在模型訓(xùn)練階段，Dropout以一定的概率將部分隱藏層神經(jīng)元的輸出設(shè)置為0，每一次訓(xùn)練都得到不同的網(wǎng)絡(luò)結(jié)構(gòu)，提高了網(wǎng)絡(luò)泛化性能[9]。實驗結(jié)果表明，將Dropout與DBN相結(jié)合的方法應(yīng)用在人臉圖像識別中取得了較好的效果。

1 DBN算法

1.1 DBN算法模型

2006年，多倫多大學(xué)的Hinton等人提出了DBN學(xué)習(xí)算法，即一種概率生成模型。DBN由多個受限玻爾茲曼機（RBM）堆疊而成，其結(jié)構(gòu)如圖1所示。

RBM是一個二分圖，由可視層和隱含層構(gòu)成，層內(nèi)無連接，層間互相連接。受限玻爾茲曼機是一種能量概率模型，其能量函數(shù)見式（1）：

其中W為權(quán)值矩陣，a為可視層單元閾值，b為隱藏層單元閾值。網(wǎng)絡(luò)越穩(wěn)定，能量函數(shù)的值越小，求解目標(biāo)即求取最小能量函數(shù)值。

由于RBM同層節(jié)點之間無連接，因此相鄰兩層節(jié)點之間的條件分布相互獨立，概率分布如式（2）和（3）所示：

其中δ（x）是sigmoid激活函數(shù)，其作用在于限定神經(jīng)元輸出振幅。

在DBN中，每兩個隱含層構(gòu)成一個RBM，同時還包含一層反向傳播（BP）網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2 所示。DBN的訓(xùn)練過程包含預(yù)訓(xùn)練和微調(diào)。在預(yù)訓(xùn)練階段，DBN采用自底向上的無監(jiān)督訓(xùn)練方法訓(xùn)練每一層RBM，將輸入作為第一層RBM的可視層，第一層RBM的隱含層作為第二層RBM的可視層，依次類推，無監(jiān)督地訓(xùn)練整個DBN網(wǎng)絡(luò)。在微調(diào)階段，采用自頂向下的方式對整個網(wǎng)絡(luò)進(jìn)行有監(jiān)督的微調(diào)。

1.2 Dropout神經(jīng)網(wǎng)絡(luò)模型描述

假設(shè)有一個含有L層隱藏層的神經(jīng)網(wǎng)絡(luò)，其輸入輸出關(guān)系如式（4）和（5）：

其中，z為輸入向量，y為輸出向量，w為權(quán)重，b為偏置向量，f為激活函數(shù)，其作用在于限定幅值，取f（x）=1/（1+exp（-x））。

當(dāng)加入Dropout，前饋神經(jīng)網(wǎng)絡(luò)關(guān)系如式（6）～（9）：

式中r為伯努利隨機變量。

如圖3所示，圖（a）為標(biāo)準(zhǔn)網(wǎng)絡(luò)，圖（b）為加入Dropout的網(wǎng)絡(luò)，通過伯努利隨機變量使網(wǎng)絡(luò)變薄，如果一個單元在訓(xùn)練時以概率p保留，那么測試時的輸出權(quán)重也要乘以概率p。

Dropout隨機刪除了一些單元，但并不意味著這些單元徹底消失，而只是讓該單元暫時失活。由于每次使用輸入網(wǎng)絡(luò)的樣本進(jìn)行權(quán)值更新時，隱含層的節(jié)點都以一定的概率隨機出現(xiàn)，因此無法保證每2個隱含節(jié)點每次都能同時出現(xiàn)，這樣權(quán)值更新將不再依賴于具有固定關(guān)系隱含節(jié)點的共同作用，可防止某些特征僅在其他特征存在時才有效果的情況出現(xiàn)。如圖4所示，取p=0.5時的Dropout神經(jīng)網(wǎng)絡(luò)可以看到隱含層中一半的神經(jīng)元概率設(shè)置為0，即在該次訓(xùn)練過程中不起作用，在下一次訓(xùn)練過程中不將其概率設(shè)置0時便又恢復(fù)作用。

可以將Dropout看做一種模型平均，雖然每次訓(xùn)練的樣本都不同，但它們卻共享所有隱含結(jié)點的權(quán)重。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時使用Dropout能夠使每個單元與其他隨機出現(xiàn)的單元共同作用，而那些不依賴于其他固定關(guān)系的單元只有在某些單元出現(xiàn)時才發(fā)揮作用，具有獨自改錯和創(chuàng)造有區(qū)分性特征的能力，增強神經(jīng)元的魯棒性。對于全連接層的網(wǎng)絡(luò)，將Dropout作用于所有隱藏層的作用效果要優(yōu)于只作用于一層隱藏層的效果，且其概率應(yīng)適當(dāng)選擇，太過極端反而會導(dǎo)致糟糕的結(jié)果出現(xiàn)。Dropout同樣可以作用于輸入層，而此時最佳的概率應(yīng)選擇0.5。

2 實 驗

為了驗證所提算法的有效性，實驗在Matlab 7.1環(huán)境下進(jìn)行，計算機配置為Windows10 Intel（R） Core（TM） i5-4200H CPU @ 2.80 GHz 4 GB內(nèi)存；實驗在ORL人臉庫中進(jìn)行，ORL人臉庫包括40人的信息，每人10幅圖像，分別為表情、姿態(tài)和面部飾物的變化。圖5、圖6所示分別為深度信念網(wǎng)絡(luò)訓(xùn)練過程和測試過程的識別錯誤率。endprint

訓(xùn)練和測試階段的迭代次數(shù)均為200次。在訓(xùn)練階段，使用Dropout和未使用Dropout的神經(jīng)網(wǎng)絡(luò)的識別錯誤率都不高且兩者接近，但在測試階段，使用Dropout顯然比未使用Dropout的網(wǎng)絡(luò)識別錯誤率更低。通過該實驗說明加入Dropout的深度信念網(wǎng)絡(luò)有更強的泛化能力，能夠有效防止過擬合。

3 結(jié) 語

針對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)存在的過擬合問題，將Dropout和深度信念網(wǎng)絡(luò)相結(jié)合，并通過ORL人臉庫實驗表明，加入Dropout的深度信念網(wǎng)絡(luò)的識別錯誤率變低，所提算法能夠提高網(wǎng)絡(luò)的泛化能力，具有防止網(wǎng)絡(luò)過擬合的能力。

參考文獻(xiàn)

[1]糜元根，陳丹馳，季鵬.基于幾何特征與新Haar特征的人臉檢測算法[J]. 傳感器與微系統(tǒng)， 2017， 36（2）：154-157.

[2] Sharma R，Patterh M S. A new pose invariant face recognition system using PCA and ANFIS[J].Optik - International Journal for Light and Electron Optics， 2015， 126（23）：3483-3487.

[3] Sun Y， Wang X， Tang X. Sparsifying Neural Network Connections for Face Recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2016：4856-4864.

[4]蔣魯寧.機器學(xué)習(xí)、深度學(xué)習(xí)與網(wǎng)絡(luò)安全技術(shù)[J].中國信息安全，2016（5）：94.

[5] Kato T， Hino H， Murata N. Multi-frame image super resolution based on sparse coding[J]. Neural Networks： the Official Journal of the International Neural Network Society， 2015， 66（C）： 64–78.

[6]盧宏濤， 張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理， 2016，31（1）：1-17.

[7] HINTON G E， OSINDERO S， THE Y-W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）： 1527-1554.

[8] Hinton G E， Srivastava N， Krizhevsky A， et al.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science， 2012，3（4）： 212-223.

[9] Srivastava N， Hinton G， Krizhevsky A， et al. Dropout： a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research，2014， 15（1）：1929-1958.endprint