吳　強(qiáng)，楊小兵

(中國(guó)計(jì)量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

人工神經(jīng)網(wǎng)絡(luò)[1](Artifical Neural Network, ANN)是20世紀(jì)80年代人工智能領(lǐng)域興起的研究熱點(diǎn)，它是由腦科學(xué)、神經(jīng)學(xué)和計(jì)算機(jī)科學(xué)等學(xué)科交叉所形成的.通過(guò)模擬人腦處理信息的方式，建立某種簡(jiǎn)單的連接模型，使得模型能夠像人腦一樣有著學(xué)習(xí)和記憶能力，并以此來(lái)處理未知事物.近年來(lái)，隨著人工神經(jīng)網(wǎng)絡(luò)研究工作的不斷深入，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用于各個(gè)領(lǐng)域，如：模式識(shí)別[2]，人臉識(shí)別[3]，預(yù)測(cè)估計(jì)[4]等，并取得了不錯(cuò)的成果.20世紀(jì)90年代，各種機(jī)器學(xué)習(xí)[5](Machine Learning, ML)算法層出不窮，如：支持向量機(jī)[6](Support Vector Machine, SVM)，邏輯回歸[7](Logistic Regression, LR)等，而人工神經(jīng)網(wǎng)絡(luò)卻發(fā)展緩慢.其主要原因是淺層人工神經(jīng)擬合復(fù)雜函數(shù)能力較差，而深層次人神經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難.直到2006年，機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton和他的學(xué)生Ruslan Salakhutdinov提出了一種高效的訓(xùn)練深層次人工神經(jīng)網(wǎng)絡(luò)的方法，使得人工神經(jīng)網(wǎng)絡(luò)又再次活躍起來(lái)并延伸到一個(gè)嶄新的領(lǐng)域——深度學(xué)習(xí)[8](Deep Learning, DL).深度學(xué)習(xí)作為一種學(xué)習(xí)復(fù)雜層次概率模型的方法，自提出以來(lái)就受到學(xué)者們的廣泛關(guān)注，其最主要的模型之一深度信念網(wǎng)絡(luò)更是應(yīng)用廣泛，已經(jīng)成功應(yīng)用于許多機(jī)器學(xué)習(xí)的任務(wù)中.

盡管深度信念網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域，但仍存在一些問(wèn)題需要解決.目前深度信念網(wǎng)絡(luò)模型缺乏有效的方法來(lái)確定網(wǎng)絡(luò)層數(shù)及隱層神經(jīng)元數(shù)目，大多依靠學(xué)者的經(jīng)驗(yàn)來(lái)人工確定.不當(dāng)?shù)木W(wǎng)絡(luò)深度及隱層神經(jīng)元數(shù)目，不僅使得模型訓(xùn)練困難，而且泛化能力差，不能充分發(fā)揮深度信念網(wǎng)絡(luò)模型的優(yōu)勢(shì).文獻(xiàn)[9]提出根據(jù)重構(gòu)誤差來(lái)確定網(wǎng)絡(luò)模型深度，但依據(jù)重構(gòu)誤差確定網(wǎng)絡(luò)深度時(shí)傾向于選擇網(wǎng)絡(luò)深度較大的模型，且構(gòu)建模型時(shí)隱層神經(jīng)元數(shù)目仍是根據(jù)經(jīng)驗(yàn)確定，模型預(yù)測(cè)精度無(wú)法達(dá)到最優(yōu).本文受貪心算法思想啟發(fā)，在構(gòu)建深度信念網(wǎng)絡(luò)模型時(shí)，并非一開(kāi)始就確定了網(wǎng)絡(luò)模型深度和隱層神經(jīng)元數(shù)目，而是逐層增加網(wǎng)絡(luò)層數(shù)，并在增加過(guò)程中動(dòng)態(tài)調(diào)整當(dāng)前層神經(jīng)元數(shù)目，在當(dāng)前層模型達(dá)到最優(yōu)后，再去構(gòu)建下一層，如此循環(huán)，直到模型構(gòu)建完成.

1　深度信念網(wǎng)絡(luò)

隨著深度學(xué)習(xí)的不斷發(fā)展，出現(xiàn)了越來(lái)越多的深層次神經(jīng)網(wǎng)絡(luò)模型，其中深度信念網(wǎng)絡(luò)模型的提出是深度學(xué)習(xí)領(lǐng)域發(fā)展過(guò)程中一個(gè)里程碑式的突破.在2006年之前，訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的算法多為反向傳播算法[10](Back Propagation, BP)，其訓(xùn)練效率低且容易陷入局部最小，這就大大限制了深層次神經(jīng)網(wǎng)絡(luò)模型的發(fā)展.直到2006年，Hinton提出了以逐層無(wú)監(jiān)督貪婪學(xué)習(xí)算法為核心的深度信念網(wǎng)絡(luò)[11]模型，通過(guò)組合多個(gè)完成預(yù)訓(xùn)練的簡(jiǎn)單模型，大大減少了優(yōu)化復(fù)雜網(wǎng)絡(luò)權(quán)值的時(shí)間復(fù)雜度，使得模型易于訓(xùn)練，從而有效提高模型預(yù)測(cè)或分類的準(zhǔn)確率.

1.1　受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)[12](Restricted Boltzmann Machine, RBM)是一種包含兩層節(jié)點(diǎn)的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型.層間全連接，層內(nèi)無(wú)連接,其結(jié)構(gòu)如圖1.

圖1　受限玻爾茲曼機(jī)Figure 1　Resteicted Boltzmann Machine

RBM是一種基于能量的模型，它的能量函數(shù)為

(1)

其中θ={w,a,b}為未知參數(shù)，vihj分別表示第i個(gè)可見(jiàn)單元的值和第j個(gè)隱藏單元的值，aibj分別表示第i個(gè)可見(jiàn)單元和第j個(gè)隱藏單元的偏置，wij為神經(jīng)元i和j之間的連接權(quán)值.為了方便討論，假設(shè)所有可見(jiàn)單元和隱藏單元的取值均為0或1.根據(jù)(1)式的能量函數(shù)，可以得到(v,h)的聯(lián)合概率分布為：

(2)

(3)

其中Z(θ)為歸一化因子.

由于RBM同一層節(jié)點(diǎn)間無(wú)連接，故同一層中的節(jié)點(diǎn)相互獨(dú)立.在已知v或h時(shí)，hj或vi的值為1的條件概率分別為：

(4)

(5)

其中sigm為激活函數(shù)，其函數(shù)表達(dá)式為

(6)

根據(jù)公式(4)和(5)，在已知v的條件下，可以求出h的概率分布；反之，也能通過(guò)h的概率分布來(lái)對(duì)v進(jìn)行重構(gòu).

1.2　RBM訓(xùn)練過(guò)程

上一節(jié)給出了RBM的聯(lián)合概率分布，其中含有未知參數(shù)θ，RBM的訓(xùn)練過(guò)程，實(shí)際上就是求出一個(gè)能最大化擬合訓(xùn)練樣本的概率分布.RBM是一種概率生成模型，可以通過(guò)極大似然估計(jì)法來(lái)尋找參數(shù)θ，使得樣本在該分布下概率最大.

通過(guò)最大化訓(xùn)練樣本的似然函數(shù)來(lái)得到RBM的未知參數(shù)，這要求對(duì)所有的訓(xùn)練樣本進(jìn)行遍歷，當(dāng)樣本數(shù)據(jù)量較大時(shí)，計(jì)算復(fù)雜度非常高，難以實(shí)現(xiàn).故實(shí)際計(jì)算時(shí)大多采用Gibbs[13]采樣方法來(lái)擬合數(shù)據(jù)輸入，簡(jiǎn)化的Gibbs采樣方法即Hinton在2002年提出的名為對(duì)比散度[14](Contrastive Divergence,，CD)的算法，它只需要很少的采樣步驟就能得到良好的近似，CD算法現(xiàn)已成為訓(xùn)練RBM的標(biāo)準(zhǔn)算法.

1.3　深度信念網(wǎng)絡(luò)模型

深度信念網(wǎng)絡(luò)(Deep Belief Network, DBN)是由若干個(gè)受限波爾茲曼機(jī)依次堆疊所形成的深度學(xué)習(xí)模型，其結(jié)構(gòu)如圖2.

圖2　深度信念網(wǎng)絡(luò)模型Figure 2　Deep belief network model

深度信念網(wǎng)絡(luò)有強(qiáng)大的特征學(xué)習(xí)能力.學(xué)習(xí)時(shí)每?jī)蓪庸?jié)點(diǎn)構(gòu)成一個(gè)RBM，先用CD算法訓(xùn)練第一層RBM，得到第一層RBM的參數(shù)；然后固定該參數(shù)，將此RBM的輸出作為下一個(gè)RBM的輸入，繼續(xù)訓(xùn)練下一層RBM，如此循環(huán)，直到整個(gè)網(wǎng)絡(luò)訓(xùn)練完成.最后，再使用有標(biāo)簽的數(shù)據(jù)來(lái)反向微調(diào)整個(gè)網(wǎng)絡(luò)的參數(shù).利用無(wú)監(jiān)督貪婪算法對(duì)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，使得網(wǎng)絡(luò)的初始參數(shù)處于一個(gè)較優(yōu)的狀態(tài)，避免了網(wǎng)絡(luò)因隨機(jī)初始化參數(shù)而陷入局部最小的問(wèn)題，且深層次的網(wǎng)絡(luò)結(jié)構(gòu)保證了模型能夠?qū)W習(xí)到底層特征并形成抽象的高層表示，使得模型在預(yù)測(cè)或分類方面的結(jié)果更加準(zhǔn)確.

2　模型構(gòu)建方法

2.1　驗(yàn)證集錯(cuò)誤分類率

驗(yàn)證集錯(cuò)誤分類率(Error Classification Rate of the Verification Set, ECR)，即模型預(yù)訓(xùn)練完成后，在進(jìn)行反向微調(diào)前，將模型用于驗(yàn)證集進(jìn)行分類，錯(cuò)誤分類的個(gè)數(shù)所占的比例，即

(7)

其中I為指示函數(shù)：

(8)

yi表示模型預(yù)測(cè)值，ci為樣本標(biāo)簽值，N為驗(yàn)證集樣本數(shù)量.

對(duì)相同的數(shù)據(jù)集，當(dāng)網(wǎng)絡(luò)模型的結(jié)構(gòu)較優(yōu)時(shí)，即網(wǎng)絡(luò)模型深度和神經(jīng)元數(shù)目較優(yōu)時(shí)，其分類準(zhǔn)確率較高；反之，其分類準(zhǔn)確率較低.驗(yàn)證集錯(cuò)誤分類率在一定程度上能夠反映模型對(duì)訓(xùn)練數(shù)據(jù)的擬合程度，驗(yàn)證集錯(cuò)誤分類率越小，模型對(duì)數(shù)據(jù)的擬合度就越高，其泛化能力就越強(qiáng).因此，可以根據(jù)驗(yàn)證集錯(cuò)誤分類率來(lái)確定網(wǎng)絡(luò)層數(shù)和神經(jīng)元數(shù)目.

2.2　模型構(gòu)建過(guò)程

前面提到，深度信念網(wǎng)絡(luò)模型的訓(xùn)練算法為無(wú)監(jiān)督貪心算法，它對(duì)不同的網(wǎng)絡(luò)模型深度及隱層神經(jīng)元數(shù)目，網(wǎng)絡(luò)的訓(xùn)練誤差是不同的，其泛化能力也有很大區(qū)別.因此，在解決實(shí)際問(wèn)題時(shí)，如何選擇合適的網(wǎng)絡(luò)層數(shù)以及神經(jīng)元數(shù)目是需要解決的第一個(gè)問(wèn)題.本文在此引入兩條引理[9]作為理論依據(jù)：

引理1DBN的訓(xùn)練精度隨著網(wǎng)絡(luò)深度的增加提高

引理2神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差隨著神經(jīng)元數(shù)目增加呈減小趨勢(shì)

根據(jù)上述引理，隨著網(wǎng)絡(luò)深度和神經(jīng)元數(shù)目的增加，網(wǎng)絡(luò)訓(xùn)練誤差會(huì)降低，其驗(yàn)證集錯(cuò)誤分類率會(huì)提高，達(dá)到最優(yōu)值后，模型過(guò)擬合，其驗(yàn)證集錯(cuò)誤分類率會(huì)迅速降低.因此，可以從單隱層開(kāi)始，根據(jù)驗(yàn)證集錯(cuò)誤分類率逐層增加網(wǎng)絡(luò)深度和神經(jīng)元數(shù)目.

為了構(gòu)建準(zhǔn)確的模型，這里需要引入兩個(gè)預(yù)設(shè)閾值參數(shù)：

1)模型最大分類錯(cuò)誤率ε：即對(duì)給定數(shù)據(jù)集，模型錯(cuò)誤分類率最大為ε，ε用來(lái)控制模型的精確度.根據(jù)不同的實(shí)驗(yàn)要求，可以預(yù)設(shè)不同的ε來(lái)使模型達(dá)到精度要求;

2)驗(yàn)證集錯(cuò)誤率最大差值α：即當(dāng)前模型的驗(yàn)證集錯(cuò)誤分類率減去上一次模型的驗(yàn)證集錯(cuò)誤分類率差值最大為α.前面提到，當(dāng)模型過(guò)擬合時(shí)，驗(yàn)證集錯(cuò)誤分類率會(huì)迅速增大.因此，可以通過(guò)設(shè)定合適的α值防止模型過(guò)擬合.

模型詳細(xì)構(gòu)建步驟如下：

1)初始化當(dāng)前隱層神經(jīng)元數(shù)目，計(jì)算當(dāng)前驗(yàn)證集錯(cuò)誤分類率，設(shè)置閾值ε和α;

2)神經(jīng)元個(gè)數(shù)增加n,計(jì)算當(dāng)前驗(yàn)證集錯(cuò)誤分類率，若小于ε，模型構(gòu)建完成.否則，轉(zhuǎn)入下一步;

3)計(jì)算當(dāng)前驗(yàn)證集錯(cuò)誤分類率與上一次驗(yàn)證集錯(cuò)誤分類率的差值，若小于α，返回步驟2，否則網(wǎng)絡(luò)深度增加一層，返回步驟1.

首先設(shè)置網(wǎng)絡(luò)隱層數(shù)為1，初始化隱層神經(jīng)元數(shù)目，計(jì)算驗(yàn)證集錯(cuò)誤分類率.增加神經(jīng)元個(gè)數(shù)，計(jì)算當(dāng)前驗(yàn)證集錯(cuò)誤分類率，若當(dāng)前驗(yàn)證集錯(cuò)誤率與上一次驗(yàn)證集錯(cuò)誤率之差小于給定閾值α，則繼續(xù)增加神經(jīng)元個(gè)數(shù).否則，將網(wǎng)絡(luò)深度加一層，再用此方法確定下一層神經(jīng)元數(shù)目.依此類推，直到驗(yàn)證集錯(cuò)誤分類率小于ε時(shí)，停止增加網(wǎng)絡(luò)深度和神經(jīng)元數(shù)目.模型構(gòu)建過(guò)程如圖3.

圖3　模型構(gòu)建流程圖Figure 3　Model construction process

2.3　模型調(diào)整

在上一節(jié)給出了模型的構(gòu)建方法，網(wǎng)絡(luò)深度及隱層神經(jīng)元數(shù)目都已經(jīng)確定，網(wǎng)絡(luò)模型結(jié)構(gòu)已接近最優(yōu).但在根據(jù)驗(yàn)證集錯(cuò)誤分類率調(diào)整神經(jīng)元數(shù)目時(shí)，神經(jīng)元數(shù)目每次增加的數(shù)量均為n，模型的最優(yōu)神經(jīng)元數(shù)目可能在確定的數(shù)值附近，因此，需要對(duì)神經(jīng)元數(shù)目進(jìn)行微調(diào).

重構(gòu)誤差(Reconstruction Error, RE)是訓(xùn)練數(shù)據(jù)經(jīng)過(guò)RBM的分布進(jìn)行一次Gibbs轉(zhuǎn)移以后得到的值與實(shí)際值之間的差異，即：

(9)

重構(gòu)誤差反映了模型特征提取的能力.當(dāng)網(wǎng)絡(luò)模型神經(jīng)元數(shù)目較優(yōu)時(shí)，其特征提取能力較強(qiáng)，相應(yīng)地重構(gòu)誤差值較小；反之，重構(gòu)誤差值較大.因此，可以根據(jù)重構(gòu)誤差來(lái)微調(diào)各層神經(jīng)元數(shù)目.

假設(shè)確定的網(wǎng)絡(luò)模型隱層結(jié)構(gòu)為[h1,h2…,hm]，其中h1,h2…,hm表示各隱層神經(jīng)元數(shù)目，m表示隱藏層數(shù)量.對(duì)每一個(gè)隱層，固定其它層神經(jīng)元數(shù)目，將當(dāng)前層神經(jīng)元數(shù)目hi從hi-n變化到hi+n，計(jì)算重構(gòu)誤差值，將最小重構(gòu)誤差值對(duì)應(yīng)的神經(jīng)元的值設(shè)為當(dāng)前層神經(jīng)元數(shù)目.至此，模型調(diào)整完成.

由于每次模型的構(gòu)建都是建立在當(dāng)前層最優(yōu)的基礎(chǔ)上，故模型結(jié)構(gòu)優(yōu)于按照經(jīng)驗(yàn)構(gòu)建的模型，模型經(jīng)過(guò)微調(diào)后，已接近最優(yōu)狀態(tài).

3　實(shí)驗(yàn)分析

3.1　MNIST手寫(xiě)字體實(shí)驗(yàn)

為了驗(yàn)證模型構(gòu)建方法的可行性，利用MNIST手寫(xiě)字體數(shù)據(jù)集設(shè)計(jì)了一個(gè)模型構(gòu)建實(shí)驗(yàn).MNIST數(shù)據(jù)集來(lái)源于美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所，訓(xùn)練集包含60 000多個(gè)樣本，測(cè)試集包含10 000多個(gè)樣本，每個(gè)樣本由28×28的像素點(diǎn)構(gòu)成.選取10 000個(gè)樣本作為訓(xùn)練集，2 000個(gè)樣本作為測(cè)試集，2 000個(gè)樣本作為驗(yàn)證集用來(lái)構(gòu)建深度信念網(wǎng)絡(luò)模型.

首先初始化網(wǎng)絡(luò)隱藏層數(shù)為1，隱層神經(jīng)元數(shù)目為50個(gè)；要求模型分類正確率要達(dá)到90%以上，即ε的值設(shè)為0.1；通過(guò)多次實(shí)驗(yàn)，當(dāng)α的值大于0.03時(shí)，即當(dāng)前驗(yàn)證集錯(cuò)誤分類率減去上一次錯(cuò)誤分類率之差大于0.03時(shí)，模型過(guò)擬合，其準(zhǔn)確率迅速降低，因此α的值設(shè)為0.03，神經(jīng)元數(shù)目每次增加10個(gè)，第一層驗(yàn)證集錯(cuò)誤分類率隨著神經(jīng)元數(shù)目的變化如圖4.

圖4　第一隱層驗(yàn)證集錯(cuò)誤分類率Figure 4　Verification set error classificationrate on the first hidden layer

為了方便敘述，設(shè)當(dāng)前模型驗(yàn)證集錯(cuò)誤分類率減去上一次模型驗(yàn)證集錯(cuò)誤分類率的值為BER.

從圖4可以看出，隨著神經(jīng)元數(shù)目的增加，驗(yàn)證集分類錯(cuò)誤率呈震蕩減小的趨勢(shì).當(dāng)神經(jīng)元數(shù)目為小于180時(shí)，所有BER的值均小于0.03，再次增加神經(jīng)元數(shù)目，驗(yàn)證集錯(cuò)誤分類率反而增加，而此時(shí)BER值大于0.03.因此，停止增加神經(jīng)元個(gè)數(shù)，確定第一層神經(jīng)元個(gè)數(shù)為180個(gè)，而此時(shí)驗(yàn)證集分類錯(cuò)誤率為0.142 0，大于預(yù)設(shè)值0.1，因此，固定第一層網(wǎng)絡(luò)參數(shù)，將網(wǎng)絡(luò)模型深度加1，繼續(xù)構(gòu)建網(wǎng)絡(luò)模型.

同樣的，仍初始化第二層網(wǎng)絡(luò)神經(jīng)元個(gè)數(shù)為50個(gè)，每次增加10個(gè)，其驗(yàn)證集分類誤差如圖5.

圖5　第二隱層驗(yàn)證集錯(cuò)誤分類率Figure 5　Verification set error classificationrate on the second hidden layer

觀察圖5可知，驗(yàn)證集錯(cuò)誤分類率在神經(jīng)元數(shù)目達(dá)到160個(gè)時(shí)最小，再次增加神經(jīng)元個(gè)數(shù)，驗(yàn)證集錯(cuò)誤分類率的差大于預(yù)設(shè)值0.03，而此時(shí)驗(yàn)證集錯(cuò)誤分類率為0.119 6仍大于0.1，不滿足預(yù)設(shè)條件.因此，固定第一層和第二層神經(jīng)元數(shù)目，再繼續(xù)將模型深度加1層.

同理，第三層驗(yàn)證集錯(cuò)誤分類如圖6.

圖6　第三隱層驗(yàn)證集錯(cuò)誤分類率Figure 6　Verification set error classificationrate on the third hidden layer

當(dāng)?shù)谌龑由窠?jīng)元數(shù)目為180時(shí)，此時(shí)驗(yàn)證集錯(cuò)誤分類率為0.089 5<0.1，此時(shí)模型滿足精度要求，停止網(wǎng)絡(luò)層數(shù)和神經(jīng)元個(gè)數(shù)的增加，至此，模型構(gòu)建完成，其隱藏層數(shù)為3，網(wǎng)絡(luò)隱層結(jié)構(gòu)為[180,160,180].

接下來(lái)再根據(jù)重構(gòu)誤差對(duì)隱層神經(jīng)元數(shù)目進(jìn)行調(diào)整，調(diào)整后模型結(jié)構(gòu)變?yōu)闃?gòu)為[178,155,183].

依據(jù)文獻(xiàn)[9]提出的理論，跟據(jù)重構(gòu)誤差構(gòu)建了一個(gè)深度信念模型，模型網(wǎng)絡(luò)深度為4，網(wǎng)絡(luò)深度確定以后，根據(jù)文獻(xiàn)[9]的方法，通過(guò)實(shí)驗(yàn)的方法選出了一組使得模型分類誤差小的神經(jīng)元數(shù)目組合，根據(jù)實(shí)驗(yàn)得到的模型結(jié)構(gòu)為[150, 160, 150, 180].為了便于描述，將按照本文提出方法構(gòu)建的模型稱為驗(yàn)證集模型，將按照文獻(xiàn)[9]方法構(gòu)建的模型稱為重構(gòu)誤差模型.將兩個(gè)模型用于測(cè)試集進(jìn)行實(shí)驗(yàn)，其分類準(zhǔn)確率如表1.

表1　不同模型分類準(zhǔn)確率

分析表1可知，依據(jù)本文提出的方法所構(gòu)建的模型比依據(jù)重構(gòu)誤差構(gòu)建的模型其分類準(zhǔn)確率提高了1.35%.

3.2　CIFAR-10數(shù)據(jù)集實(shí)驗(yàn)

CIFAR-10數(shù)據(jù)集是機(jī)器學(xué)習(xí)中的一個(gè)通用的用于圖像識(shí)別的基礎(chǔ)數(shù)據(jù)集，包含了60 000張圖像，共10個(gè)類，圖像大小為32×32，其中50 000張為訓(xùn)練集，10 000張為測(cè)試集.同樣選取10 000張作為訓(xùn)練集，2 000個(gè)樣本作為驗(yàn)證集，2 000個(gè)作為測(cè)試集來(lái)構(gòu)建模型.

在構(gòu)建模型的過(guò)程中，初始化神經(jīng)元數(shù)目為100個(gè)，要求模型精度達(dá)到80%以上，即ε的值為0.2，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)前驗(yàn)證集錯(cuò)誤分類率減去上一次錯(cuò)誤分類率之差大于0.1時(shí)，模型過(guò)擬合，即α的值設(shè)為0.1.構(gòu)建模型過(guò)程中驗(yàn)證集錯(cuò)誤分類率隨著各層神經(jīng)元數(shù)目變化如圖7.

圖7　驗(yàn)證集錯(cuò)誤分類率變化圖Figure 7　Verification set error classification rate

觀察圖7可知：第一隱層在神經(jīng)元數(shù)目超過(guò)220時(shí)，其α值大于0.1，但ε不滿足要求，故網(wǎng)絡(luò)深度需要增加一層；同樣，第二隱層在神經(jīng)元數(shù)目超過(guò)200時(shí)α不滿足要求，此時(shí)ε仍大于0.2，繼續(xù)增加網(wǎng)絡(luò)深度；當(dāng)?shù)谌[層神經(jīng)元數(shù)目為190，ε滿足要求，停止繼續(xù)增加深度和神經(jīng)元數(shù)目.因此模型結(jié)構(gòu)為[220,200,190].同樣地，根據(jù)重構(gòu)誤差對(duì)模型神經(jīng)元數(shù)目進(jìn)行微調(diào)，最后，網(wǎng)絡(luò)模型結(jié)構(gòu)為[224,198,195](驗(yàn)證集模型).

與上一個(gè)實(shí)驗(yàn)類似，根據(jù)文獻(xiàn)[9]提出的理論構(gòu)建了一個(gè)深度信念模型，其網(wǎng)絡(luò)結(jié)構(gòu)為[200,220,180,200](重構(gòu)誤差模型)，將兩個(gè)模型用于測(cè)試集進(jìn)行測(cè)試，其準(zhǔn)確率如表2.

表2　不同模型分類準(zhǔn)確率

觀察表2可知，用此方法構(gòu)建的模型比按照重構(gòu)誤差構(gòu)建的模型分類準(zhǔn)確率要高.

4　結(jié)　語(yǔ)

本文詳細(xì)介紹了深度信念網(wǎng)絡(luò)的結(jié)構(gòu)及其訓(xùn)練算法，針對(duì)網(wǎng)絡(luò)隱層數(shù)及神經(jīng)元數(shù)目難以確定問(wèn)題，在貪心算法思想的基礎(chǔ)上，根據(jù)驗(yàn)證集錯(cuò)誤分類率來(lái)動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)隱層數(shù)及神經(jīng)元數(shù)目，當(dāng)模型當(dāng)前層達(dá)到最優(yōu)時(shí)再去調(diào)整下一層，使得模型構(gòu)建完成后接近最優(yōu).這種構(gòu)建深度信念網(wǎng)絡(luò)模型的方法能有效提高運(yùn)算效率，降低運(yùn)算成本，提高預(yù)測(cè)或分類的準(zhǔn)確率.

【參考文獻(xiàn)】

[1]CHAE Y T, HORESH R, HWANG Y, et al. Artificial neural network model for forecasting sub-hourly electricity usage in commercial buildings[J].Energy&Buildings, 2016,111:184-194.

[2]MURTY M N, DEVI V S. Introduction to pattern recognition and machine learning[J].JournalofCellularPhysiology, 2015,200(1):71-81.

[3]SUN T H, TIEN F C. Using backpropagation neural network for face recognition with 2D+3D hybrid information[J].ExpertSystemswithApplications, 2008,35(1,2):361-372.

[4]ZAJI A H, BONAKDARI H. Efficient methods for prediction of velocity fields in open channel junctions based on the artifical neural network[J].EngineeringApplicationsofComputationalFluidMechanics, 2015,9(1):220-232.

[5]ROBERT C. Machine learning, a probabilistic perspective[J].MathematicsEducationLibrary, 2012,58(8):27-71.

[6]FUREY T S, CRISTIANINI N, DUFFY N, et al. Support vector machine classification and validation of cancer tissue samples using microarray expression data[J].Bioinformatics, 2000,16(10):906-914.

[7]CUCCHIARA A. Applied logistic regression[J].Technometrics,1992,34(1):358-359.

[8]LECUN Y, BENGIO Y, HINTON G. Deep learning[J].Nature, 2015,521(3):436-444.

[9]潘廣源,柴偉,喬俊飛.DBN網(wǎng)絡(luò)的深度確定方法[J].控制與決策,2015(2):256-260.

PAN G Y, CHAI W, QIAO J F. Calculation for depth of deep belief network[J].ControlandDecision, 2015(2):256-260.

[10]溫林強(qiáng),夏鳳毅,沈洲.BP神經(jīng)網(wǎng)絡(luò)多波長(zhǎng)法的COD預(yù)測(cè)[J].中國(guó)計(jì)量大學(xué)學(xué)報(bào),2016,27(3):306-312.

WEN L Q, XIA F Y, SHEN Z. COD prediction based on BP neural networks with multi-wavelength methon[J].JournalofChinaUniversityofMetrology, 2006,27(3):306-312.

[11]HINTON G E. Deep belief networks[J].Scholarpedia, 2009,4(6):5947.

[12]HINTON G E. A practical guide to training restricted boltzmann machines[J].Momentum, 2012,9(1):599-619.

[13]CASELLA G, GEORGE E I. Explaining the Gibbs sampler[J].AmericanStatistician, 1992,46(3):167-174.

[14]SHERI A M, RAFIQUE A, PERDYCZ W, et al. Contrastive divergence for memristor-based restricted Boltzmann machine[J].EngineeringApplicationsofArtificialIntelligence, 2015,37:336-342.