吳 強(qiáng)，楊小兵

(中國(guó)計(jì)量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

一種加權(quán)誤差最小化的深度信念網(wǎng)絡(luò)優(yōu)化技術(shù)

吳 強(qiáng)，楊小兵

(中國(guó)計(jì)量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

傳統(tǒng)的深度信念網(wǎng)絡(luò)模型缺乏并行有效的算法來確定網(wǎng)絡(luò)層數(shù)以及隱藏層神經(jīng)元的數(shù)目，實(shí)驗(yàn)時(shí)大多依據(jù)經(jīng)驗(yàn)來選取，這樣做不僅使得模型訓(xùn)練困難，且范化能力差，影響實(shí)驗(yàn)結(jié)果.針對(duì)此問題，通過比較重構(gòu)誤差和驗(yàn)證集錯(cuò)誤分類率的乘積(加權(quán)誤差)大小來選取網(wǎng)絡(luò)層數(shù)，網(wǎng)絡(luò)層數(shù)確定后，再根據(jù)重構(gòu)誤差使用漸增法或二分法來選擇合適的隱層神經(jīng)元數(shù)目，以使整個(gè)模型達(dá)到最優(yōu).實(shí)驗(yàn)結(jié)果表明，用上述方法確定模型網(wǎng)絡(luò)層數(shù)及隱藏層神經(jīng)元數(shù)目，能有效提高模型分類或預(yù)測(cè)的精度.

深度信念網(wǎng)絡(luò)；網(wǎng)絡(luò)層數(shù)；神經(jīng)元數(shù)目；重構(gòu)誤差；加權(quán)誤差

Abstract: The traditional deep belief network model lacks parallel and effective algorithm to determine the number of network layers and the number of hidden neurons. Most of the experiments chose them by experience. This makes the model training difficult. This paper chose the number of network layers according to the size of the reconstruction error and the product of the error classification rate of the verification set (weighted errors). After the network layers were determined, the number of hidden neurons was selected according to the reconstruction error by the incremental method or dichotomy method. The experimental results show that the number of model network layers and the number of hidden neurons with the method can improve the accuracy of model classification or prediction.

Keywords: deep belief network; network layers; number of neurons; reconstruction error; weighted error

人腦對(duì)事物的認(rèn)知過程是逐層進(jìn)行、逐步抽象的，大腦通過提取從外界接收到的信號(hào)，每次處理接收到信號(hào)中一個(gè)或多個(gè)的特征，最終將一個(gè)抽象的概念傳遞給人腦，形成了人對(duì)某種事物的認(rèn)知.人工神經(jīng)網(wǎng)絡(luò)[1]通過模擬大腦的工作方式，在很多方面的表現(xiàn)甚至超過人腦，因此受到學(xué)者們的廣泛關(guān)注.人工神經(jīng)網(wǎng)絡(luò)曾一度因?yàn)橹虚g層網(wǎng)絡(luò)權(quán)值調(diào)整困難而陷入低谷，后來在BP算法[2]出現(xiàn)后又再次活躍起來.在20世紀(jì)九十年代，又隨著支持向量機(jī)[3]提出而再次陷入低谷.直到2006年，深層次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法有了重大突破，并把神經(jīng)網(wǎng)絡(luò)的發(fā)展引入到一個(gè)完全新的領(lǐng)域——深度學(xué)習(xí)[4]，使得人工神經(jīng)網(wǎng)絡(luò)再次成為人們關(guān)注的焦點(diǎn).深度學(xué)習(xí)作為人工智能和機(jī)器學(xué)習(xí)的一個(gè)新的領(lǐng)域，由于其優(yōu)秀的特征學(xué)習(xí)能力而成為移動(dòng)互聯(lián)網(wǎng)和大數(shù)據(jù)的熱潮，并取得了突破性進(jìn)展.2012年11月，微軟在中國(guó)天津的一次活動(dòng)上展示了一個(gè)全自動(dòng)同聲翻譯系統(tǒng)，演講者用英文演講，后臺(tái)計(jì)算機(jī)自動(dòng)地完成英文語音識(shí)別、英中翻譯以及中文語音合成過程，效果十分流暢，而這臺(tái)機(jī)器所使用的的關(guān)鍵技術(shù)正是深度學(xué)習(xí).這大大鼓舞了深度學(xué)習(xí)的發(fā)展，目前深度學(xué)習(xí)已經(jīng)成為人工智能未來發(fā)展的主要方向.

深度信念網(wǎng)絡(luò)[5](Deep Belief Network, DBN)作為深度學(xué)習(xí)的重要模型，足夠的隱藏層數(shù)保證網(wǎng)絡(luò)能夠?qū)W習(xí)到數(shù)據(jù)的本質(zhì)特征，其逐層無監(jiān)督訓(xùn)練算法克服了多隱層神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的問題，實(shí)現(xiàn)了多隱層神經(jīng)網(wǎng)絡(luò)建立工作的突破，目前已成為深度學(xué)習(xí)的研究熱點(diǎn).盡管深度信念網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于多個(gè)領(lǐng)域，如人臉表情識(shí)別[6]，自然語言處理[7]，時(shí)間序列預(yù)測(cè)[8]等，但仍存在著許多問題尚待解決.目前深度信念網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)及神經(jīng)元數(shù)目缺乏科學(xué)有效的選取方法，大多依靠經(jīng)驗(yàn)來人工選取，不能充分發(fā)揮深度信念網(wǎng)絡(luò)的優(yōu)勢(shì)，有時(shí)實(shí)驗(yàn)結(jié)果甚至不如淺層網(wǎng)絡(luò).

本文以重構(gòu)誤差和驗(yàn)證集分類錯(cuò)誤率的乘積(加權(quán)誤差)大小作為選取網(wǎng)絡(luò)隱藏層數(shù)的標(biāo)準(zhǔn)，再根據(jù)重構(gòu)誤差來調(diào)整隱藏層神經(jīng)元數(shù)目，可以使網(wǎng)絡(luò)層數(shù)及神經(jīng)元數(shù)目處于較優(yōu)的水平，能有效提高訓(xùn)練效率，使實(shí)驗(yàn)結(jié)果更準(zhǔn)確.

1 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)是一種包含多個(gè)隱層的神經(jīng)網(wǎng)絡(luò)模型，它通過訓(xùn)練數(shù)據(jù)來學(xué)習(xí)數(shù)據(jù)的有效特征，尤其在分類或預(yù)測(cè)方面，其優(yōu)勢(shì)更加明顯.

受限玻爾茲曼機(jī)[9](Resteicted Boltzmann Machine, RBM)是DBN的基本組成元素，它是一種具有兩層結(jié)構(gòu)的二部圖，包含可見層v和隱藏層h，同一層內(nèi)神經(jīng)元間無連接，不同層神經(jīng)元間全連接，其結(jié)構(gòu)如圖1.

圖1 受限玻爾茲曼機(jī)模型Figure 1 Resteicted Boltzmann Machine model

深度信念網(wǎng)絡(luò)通常是由多個(gè)RBM依次疊加而形成，其結(jié)構(gòu)如圖2.

圖2 深度信念網(wǎng)絡(luò)模型Figure 2 Deep belief network model

DBN是一種基于能量的模型，其能量函數(shù)為

E(v,h|θ)=

(1)

其中vi、ai分別表示可見層節(jié)點(diǎn)及偏置，hj、bj分別表示隱藏層層節(jié)點(diǎn)及偏置，wij表示可見節(jié)點(diǎn)vi與隱藏節(jié)點(diǎn)hj間的連接權(quán)值.對(duì)于每個(gè)RBM，當(dāng)我們給定可見層節(jié)點(diǎn)的值時(shí)，我們可以得到隱藏層節(jié)點(diǎn)的分布，即

(2)

同樣，我們?cè)谥离[藏層節(jié)點(diǎn)值時(shí)，也可以求出可見層節(jié)點(diǎn)的分布，即

(3)

其中sigm( )為Sigmoid函數(shù).

DBN模型的訓(xùn)練算法為逐層無監(jiān)督貪心算法，訓(xùn)練數(shù)據(jù)均為無標(biāo)簽數(shù)據(jù).訓(xùn)練時(shí)，先用CD[10](Contrastive Divergence, CD)算法訓(xùn)練第一層RBM，得到第一層RBM的參數(shù)后，固定此參數(shù)，并將第一層RBM的輸出作為下一個(gè)RBM的輸入，繼續(xù)訓(xùn)練下一層的RBM.如此反復(fù)，直到整個(gè)網(wǎng)絡(luò)訓(xùn)練完成.由于模型使用逐層無監(jiān)督算法來訓(xùn)練，模型獲取了數(shù)據(jù)的潛在特征，使得模型參數(shù)已經(jīng)處于一個(gè)較優(yōu)的水平，避免了網(wǎng)絡(luò)因隨機(jī)初始化參數(shù)而訓(xùn)練困難和易陷入局部最小值的問題.最后，再使用有標(biāo)簽的數(shù)據(jù)來反向微調(diào)模型的參數(shù)，使整個(gè)模型達(dá)到最優(yōu).

2 深度信念網(wǎng)絡(luò)優(yōu)化技術(shù)

關(guān)于多隱層人工神經(jīng)網(wǎng)絡(luò)，我們可以知道[11]：

1)含有多個(gè)隱藏層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)秀的特征學(xué)習(xí)的能力，能更加準(zhǔn)確地刻畫學(xué)習(xí)數(shù)據(jù)的本質(zhì)特征，提升分類或預(yù)測(cè)的準(zhǔn)確性；

2)深層次的神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的問題可以通過逐層無監(jiān)督訓(xùn)練算法解決.

這說明隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)模型提取到的特征質(zhì)量就越高，從而提升實(shí)驗(yàn)結(jié)果的準(zhǔn)確性.但當(dāng)網(wǎng)絡(luò)層數(shù)超過某一個(gè)閾值后，模型的參數(shù)個(gè)數(shù)會(huì)超過訓(xùn)練樣本個(gè)數(shù)，從而模型獲取的是當(dāng)前訓(xùn)練數(shù)據(jù)的特征而非數(shù)據(jù)的整體特征，從而出現(xiàn)過擬合(Over-fitting)現(xiàn)象，使得實(shí)驗(yàn)結(jié)果產(chǎn)生較大誤差.因此，選取合適的網(wǎng)絡(luò)層數(shù)和神經(jīng)元數(shù)目非常重要.

深度信念網(wǎng)絡(luò)有著優(yōu)秀的特征學(xué)習(xí)能力，而重構(gòu)誤差(Reconstruction Error, RE)可以用來衡量模型提取到特征的好壞，重構(gòu)誤差是數(shù)據(jù)經(jīng)過RBM的分布進(jìn)行Gibbs轉(zhuǎn)移[12]以后得到的結(jié)果與實(shí)際值之間的差異，即

(4)

WE=RE×ε.

(5)

其中ε是驗(yàn)證集錯(cuò)誤分類率(error classification rate of the verification set,ε)，即DBN預(yù)訓(xùn)練完成后，將模型用于驗(yàn)證集分類，模型分類錯(cuò)誤的個(gè)數(shù)所占比率.

當(dāng)模型的隱藏層數(shù)以及神經(jīng)元的數(shù)目較優(yōu)時(shí)，模型能更好的擬合數(shù)據(jù)，相應(yīng)的驗(yàn)證集錯(cuò)誤分類率也會(huì)很小.通過比較加權(quán)誤差的大小來選取網(wǎng)絡(luò)隱藏層數(shù)，這個(gè)值越小，說明重構(gòu)誤差和錯(cuò)誤分類率也越小，模型就越優(yōu)秀.

網(wǎng)絡(luò)模型隱藏層數(shù)確定以后，我們需要再確定每個(gè)隱層神經(jīng)元的數(shù)目.前面我們提到，重構(gòu)誤差是衡量模型提取數(shù)據(jù)特征的標(biāo)準(zhǔn)，當(dāng)神經(jīng)元數(shù)目較優(yōu)時(shí)，模型同樣也會(huì)提取到優(yōu)秀的特征，從而重構(gòu)誤差的值也較小.因此，我們可以根據(jù)重構(gòu)誤差來確定神經(jīng)元的數(shù)目.我們先設(shè)定所有隱層神經(jīng)元數(shù)目的初值，然后逐漸地增加或減少，比較不同數(shù)目神經(jīng)元下重構(gòu)誤差的大小，然后選出最優(yōu)神經(jīng)元數(shù)目.在此，本文給出兩種選取神經(jīng)元數(shù)目方法，如算法1，算法2.

算法1：漸增法

1)設(shè)定所有隱層神經(jīng)元數(shù)目的的初始值，并計(jì)算當(dāng)前重構(gòu)誤差.

2)所有隱層神經(jīng)元數(shù)目同時(shí)增加K個(gè)，比較重構(gòu)誤差大小，確定最優(yōu)神經(jīng)元數(shù)目所在區(qū)間.

3)重復(fù)步驟2)(K值可變)，直到確定的區(qū)間之間的距離小于給定閾值時(shí)執(zhí)行下一步.

4)在步驟3)得到的區(qū)間中，每層神經(jīng)元依次增加L個(gè)，考慮所有可能的排列組合，選擇重構(gòu)誤差最小的組合作為隱藏層神經(jīng)元數(shù)目.

5)結(jié)束.

算法2：二分法

1)通過實(shí)驗(yàn)確定隱藏層神經(jīng)元數(shù)目的上限，并設(shè)為初始值，計(jì)算出重構(gòu)誤差.

2)將各層神經(jīng)元數(shù)目變?yōu)樵瓉淼囊话?，比較重構(gòu)誤差大小，確定最優(yōu)神經(jīng)元數(shù)目所在區(qū)間.

3)重復(fù)步驟2)，直到選取區(qū)間的距離小于給定閾值時(shí)，執(zhí)行下一步.

4)在步驟3)得到的區(qū)間中，將每層神經(jīng)元數(shù)目依次增加L個(gè)，考慮所有的排列組合，選擇重構(gòu)誤差最小的組合作為隱藏層神經(jīng)元數(shù)目.

5)結(jié)束.

整個(gè)實(shí)驗(yàn)流程如圖3.

圖3 實(shí)驗(yàn)流程圖Figure 3 Experimental process

至此，我們完成了網(wǎng)絡(luò)層數(shù)及隱層神經(jīng)元數(shù)目的選取.

3 實(shí)驗(yàn)結(jié)果分析

3.1MNIST手寫字體分類實(shí)驗(yàn)

MNIST數(shù)據(jù)庫(kù)是一個(gè)關(guān)于手寫數(shù)字識(shí)別的數(shù)據(jù)庫(kù)，將手寫數(shù)字0～9歸一化并集中在一個(gè)固定大小的圖像上.本文選取其中的7 000張圖片，其中5 000張作為訓(xùn)練集，1 000張作為驗(yàn)證集，1 000張作為測(cè)試集.首先我們需要確定網(wǎng)絡(luò)的深度，通過不同隱藏層數(shù)的重構(gòu)誤差以及驗(yàn)證集錯(cuò)誤分類率計(jì)算出WE，結(jié)果如表1.

表1 不同隱層數(shù)WE變化表

通過表1我們可以知道，在網(wǎng)絡(luò)層數(shù)超過2層以后，重構(gòu)誤差雖然整體上有下降趨勢(shì)，但波動(dòng)較大，再通過比較驗(yàn)證集錯(cuò)誤率我們發(fā)現(xiàn)，網(wǎng)絡(luò)隱藏層數(shù)超過2層以后，其分類錯(cuò)誤率不斷上升，而此時(shí)WE也最小，因此，網(wǎng)絡(luò)合適的隱藏層數(shù)目為2層.

接下來需要再確定隱層神經(jīng)元的數(shù)目，先初始化神經(jīng)元數(shù)目為[50,50]，然后每次增加50，比較它們重構(gòu)誤差以及分類錯(cuò)誤率的大小，其重構(gòu)誤差變化如圖4.

圖4 MNIST數(shù)據(jù)RE變化圖Figure 4 RE changes in MNIST data

觀察圖4，隨著神經(jīng)元數(shù)目的不斷增加，第一層RBM的重構(gòu)誤差在緩慢減小后基本保持不變，第二層RBM的重構(gòu)誤差隨著神經(jīng)元數(shù)目的增加不斷震蕩，在神經(jīng)元數(shù)目從300增加到350的過程中不斷減小并達(dá)到最小值，因此最優(yōu)神經(jīng)元數(shù)目大致在300到350之間.我們將第一個(gè)隱藏層神經(jīng)元數(shù)目從300開始，每次增加10個(gè)，第二隱藏層同樣從300開始每次增加10個(gè)，即神經(jīng)元數(shù)目的所有可能情況為[310,310]，[310,320]，[310,330]，...，[350,350]，共有25種，其重構(gòu)誤差圖像如圖5.

通過圖5我們可以看到，在編號(hào)為17的組合即隱藏層神經(jīng)元數(shù)目為[340,320]時(shí)，重構(gòu)誤差達(dá)到最小，故各層最優(yōu)神經(jīng)元數(shù)目依次為340、320.至此，模型構(gòu)建完成.我們用此模型對(duì)測(cè)試集進(jìn)行測(cè)試，其正確分類概率達(dá)到了96.76%.

圖5 MNIST數(shù)據(jù)不同神經(jīng)元RE變化圖Figure 5 RE changes of different neurons in MNIST data

3.2 MAGIC伽馬成像數(shù)據(jù)集分類實(shí)驗(yàn)

大氣切倫科夫望遠(yuǎn)鏡伽馬成像數(shù)據(jù)集(MAGIC Gamma Telescope Data Set)是UCI中一個(gè)非常優(yōu)秀的數(shù)據(jù)分類集，用來模擬大氣切倫科夫望遠(yuǎn)鏡中高能γ粒子的定位，這個(gè)數(shù)據(jù)集共有19 020個(gè)數(shù)據(jù).部分?jǐn)?shù)據(jù)集如表2

表2 部分MAGIC 伽馬成像數(shù)據(jù)集

它共有10個(gè)預(yù)測(cè)屬性，用來預(yù)測(cè)兩類結(jié)果：G類(0)和H(1).本文選取其中10 000條數(shù)據(jù)，G類和H類各5 000條，其中8 000條作為訓(xùn)練集，1 000條作為測(cè)試集，剩下1 000條作為驗(yàn)證集.實(shí)驗(yàn)開始前先對(duì)數(shù)據(jù)進(jìn)行歸一化處理，歸一化完成以后，用DBN模型對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，得到不同隱藏層數(shù)時(shí)，網(wǎng)絡(luò)的重構(gòu)誤差、驗(yàn)證集錯(cuò)誤分類率以及WE如圖6～8.

觀察上面3副圖像，當(dāng)網(wǎng)絡(luò)隱藏層超過2層以后，其重構(gòu)誤差大大增加，雖然在隱藏層數(shù)為5和6時(shí)有所下降，但驗(yàn)證集錯(cuò)誤分類率隨著隱藏層數(shù)的增加而不斷變大，且在隱藏層數(shù)為5時(shí)達(dá)到最大；再觀察WE的圖像，我們發(fā)現(xiàn)當(dāng)網(wǎng)絡(luò)隱藏層數(shù)為2時(shí)WE值最小，故合適的網(wǎng)絡(luò)隱藏層數(shù)為2層.

圖6 MAGIC數(shù)據(jù)不同隱層RE變化圖Figure 6 RE changes of different neurons in MAGIC data

圖7 MAGIC數(shù)據(jù)不同隱層錯(cuò)誤分類率Figure 7 ε changes of different hidden layers in MAGIC data

圖8 MAGIC數(shù)據(jù)不同隱層WE變化圖Figure 8 WE changes of different neurons in MAGIC data

模型的輸入層為10個(gè)神經(jīng)元，輸出層為2個(gè)神經(jīng)元，我們還需要確定中間兩個(gè)隱藏層的神經(jīng)元數(shù)目.當(dāng)隱藏層神經(jīng)元數(shù)目最優(yōu)時(shí)，模型提取數(shù)據(jù)的特征就越優(yōu)秀，其重構(gòu)誤差也會(huì)比較小，故我們根據(jù)重構(gòu)誤差來確定隱層神經(jīng)元數(shù)目.通過實(shí)驗(yàn)，我們發(fā)現(xiàn)當(dāng)兩個(gè)隱藏層神經(jīng)元數(shù)目達(dá)到400以后，再增加神經(jīng)元數(shù)目，其重構(gòu)誤差大大增加，而驗(yàn)證集錯(cuò)誤分類率也迅速變大，這說明最優(yōu)神經(jīng)元數(shù)目應(yīng)該小于400.接下來我們用二分法來尋找最優(yōu)神經(jīng)元數(shù)目，將初始隱藏層神經(jīng)元數(shù)目設(shè)為[400 400]，然后依次遞減一半，得到重構(gòu)誤差如圖9.

觀察圖9，當(dāng)隱層神經(jīng)元數(shù)目從200遞減到100的過程中，其重構(gòu)誤差大大減小，而從100遞減到50的過程中又增加，所以最優(yōu)神經(jīng)元數(shù)目應(yīng)該在100～200之間，我們繼續(xù)用二分法尋找最優(yōu)神經(jīng)元個(gè)數(shù)，通過比較重構(gòu)誤差，其最優(yōu)神經(jīng)元個(gè)數(shù)區(qū)間為175～200.

為了尋找更精確的隱藏層數(shù)目，將兩個(gè)隱藏層分開考慮，我們將第一和第二個(gè)隱藏層神經(jīng)元數(shù)目從175開始依次增加5個(gè)，考慮所有排列組合，共有36情況，不同情況下重構(gòu)誤差如圖10.

圖9 MAGIC數(shù)據(jù)集二分法RE變化圖Figure 9 RE changes with dichotomy in MAGIC data set

圖10 MAGIC數(shù)據(jù)不同神經(jīng)元數(shù)目REFigure 10 RE changes in different neurons of MAGIC data

通過圖10我們發(fā)現(xiàn)序號(hào)為12的組合重構(gòu)誤差最小，即神經(jīng)元數(shù)目為[185,180].故最終模型結(jié)構(gòu)為10-185-180-2，我們將模型用于集測(cè)試，其分類正確率達(dá)到96.25%.至此，我們完成了網(wǎng)絡(luò)模型構(gòu)建，且網(wǎng)絡(luò)深度和神經(jīng)元數(shù)目相對(duì)較優(yōu).

4 結(jié) 語

本文詳細(xì)介紹了深度信念網(wǎng)絡(luò)的模型結(jié)構(gòu)以及其訓(xùn)練過程，針對(duì)網(wǎng)絡(luò)隱藏層數(shù)及神經(jīng)元數(shù)目難以選擇的問題，提出根據(jù)重構(gòu)誤差和驗(yàn)證集錯(cuò)誤分類率的乘積大小來選取合適的隱層數(shù)，并根據(jù)重構(gòu)誤差來調(diào)整神經(jīng)元數(shù)目.這樣就能有效避免因依據(jù)經(jīng)驗(yàn)選取隱藏層數(shù)和神經(jīng)元個(gè)數(shù)不當(dāng)而引起的訓(xùn)練困難問題，降低運(yùn)算成本，提高預(yù)測(cè)或分類的準(zhǔn)確率.

[1] NEOCLEOUS C, SCHIZAS C. Artificial neural network learning: a comparative review[C]//MethodsandApplicationsofArtificialIntelligence,SecondHellenicConferenceonAI,SETN2002. Berlin: Springer, 2002:300-313.

[2] 溫林強(qiáng), 夏鳳毅, 沈洲. BP神經(jīng)網(wǎng)絡(luò)多波長(zhǎng)法的COD預(yù)測(cè)[J]. 中國(guó)計(jì)量學(xué)院學(xué)報(bào), 2016, 27(3):306-312. WEN L Q, XIA F Y, SHEN Z. COD prediction based on BP neural networks with multi-wavelength methon[J].JournalofChinaUniversityMetrology, 2006, 27(3):306-312.

[3] ADANKON M M, CHERIET M. Optimizing resources in model selection for support vector machine[J].PatternRecognition, 2007, 40(3):953-963.

[4] 尹寶才, 王文通, 王立春. 深度學(xué)習(xí)研究綜述[J]. 北京工業(yè)大學(xué)學(xué)報(bào), 2015(1):48-59. YIN B C, WANG W T, WANG L T. Review of deep learning[J].JournalofBeijingUniversityofTechnology, 2015(1):48-59.

[5] KUREMOTO T, KIMURA S, KOBAYASHI K, et al. Time series forecasting using a deep belief network with restricted boltzmann machines[J].Neurocomputing, 2014, 137(15):47-56.

[6] LIU P, HAN S, MENG Z, et al. Facial expression recognition via a boosted deep belief network[C]//IEEEConferenceonComputerVisionandPatternRecognition. Columbus: IEEE Computer Society, 2014:1805-1812.

[7] LEFEVRE F. A DBN-based multi-level stochastic spoken language understanding system[C]//SpokenLanguageTechnologyWorkshop. Aruba: IEEE, 2006:78-81.

[8] KUREMOTO T, KIMURA S, KOBAYASHI K, et al. Time series forecasting using a deep belief network with restricted boltzmann machines[J].Neurocomputing, 2014, 137(15):47-56.

[9] TOMCZAK J M, ZIEBA M. Classification restricted boltzmann machine for comprehensible credit scoring model[J].ExpertSystemswithApplications, 2015, 42(4):1789-1796.

[10] HINTON G E. Training products of experts by minimizing contrastive divergence[J].NeuralComputation, 2002, 14(8):1771-1800.

[11] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks.[J].Science, 2006, 313(30):504-507.

[12] DAS S, PEDRONI B U, MEROLLA P, et al. Gibbs sampling with low-power spiking digital neurons[C]//IEEEInternationalSymposiumonCircuitsandSystems. Portugal: IEEE, 2015:2704-2707.

[13] 潘廣源, 柴偉, 喬俊飛. DBN網(wǎng)絡(luò)的深度確定方法[J]. 控制與決策, 2015(2):256-260. PAN G Y, CHAI W, QIAO J F. Calculation for depth of deep belief network[J].ControlandDecision, 2015(2):256-260.

Adeepbeliefnetworkoptimizationtechniquebasedonweightederrorminimization

WU Qiang，YANG Xiaobing

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

2096-2835(2017)03-0352-07

10.3969/j.issn.2096-2835.2017.03.014

2017-04-29 《中國(guó)計(jì)量大學(xué)學(xué)報(bào)》網(wǎng)址zgjl.cbpt.cnki.net

TP391

A