李萌　秦品樂(lè)　李傳朋

摘要：

針對(duì)深度信念網(wǎng)絡(luò)（DBN）算法在采用反向傳播修正網(wǎng)絡(luò)的連接權(quán)值和偏置的過(guò)程中，容易產(chǎn)生梯度小、學(xué)習(xí)率低、誤差收斂速度慢等問(wèn)題，提出一種結(jié)合多新息（multiinnovation）理論對(duì)標(biāo)準(zhǔn)DBN算法進(jìn)行改進(jìn)的算法，即多新息DBN（MIDBN）。MIDBN算法是對(duì)標(biāo)準(zhǔn)DBN算法中反向傳播的過(guò)程重新建模，使得算法在原先只利用單個(gè)新息的情況下，擴(kuò)展為能夠充分利用之前多個(gè)周期的新息，從而大幅提高誤差收斂速度。通過(guò)實(shí)驗(yàn)對(duì)MIDBN算法和其他分類算法進(jìn)行了數(shù)據(jù)集分類的比較，實(shí)驗(yàn)結(jié)果表明，MIDBN算法相較其他分類算法，其誤差收斂速度較快，而且最終對(duì)MNIST數(shù)據(jù)集和Caltech101數(shù)據(jù)集的識(shí)別中誤差結(jié)果相對(duì)更小。

關(guān)鍵詞：

深度信念網(wǎng)絡(luò)算法；誤差收斂速度；多新息理論；反向傳播

中圖分類號(hào)：

TP389.1

文獻(xiàn)標(biāo)志碼：A

Abstract：

Aiming at the problem of small gradient， low learning rate， slow convergence of error during the process of using Deep Belief Network （DBN） algorithm to correct connection weight and bias of network by the method of back propagation， a new algorithm called MultiInnovation DBN （MIDBN） was proposed based on combination of standard DBN algorithm with multiinnovation theory. The back propagation process in standard DBN algorithm was remodeled to make full use of multiple innovations in previous cycles， while the original algorithm can only use single innovation. Thus， the convergence rate of error was significantly increased. MIDBN algorithm and other representative classifiers were compared through experiments of datasets classification. Experimental results show that MIDBN algorithm has a faster convergence rate than other sorting algorithms； especially when identifying MNIST and Caltech101 dataset， MIDBN algorithm has the fewest inaccuracies among all the algorithms.

英文關(guān)鍵詞Key words：

Deep Belief Network （DBN） algorithm； error convergence rate； multiinnovation theory； backpropagation

0引言

深度學(xué)習(xí)[1]近幾年來(lái)在人工智能領(lǐng)域（語(yǔ)音識(shí)別、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、圖像與視覺(jué)分析、多媒體等）取得重要突破。深度學(xué)習(xí)中的模型有多種，有一種無(wú)監(jiān)督的學(xué)習(xí)算法——深度信念網(wǎng)絡(luò)（Deep Belief Network， DBN）學(xué)習(xí)算法[2-3]，這種方法可以創(chuàng)建一些網(wǎng)絡(luò)層來(lái)檢測(cè)特征而不使用帶標(biāo)簽的數(shù)據(jù)，這些網(wǎng)絡(luò)層可以用來(lái)重構(gòu)或者對(duì)特征檢測(cè)器的活動(dòng)進(jìn)行建模。通過(guò)預(yù)訓(xùn)練過(guò)程，深度網(wǎng)絡(luò)的權(quán)值可以被初始化為有意義的值，然后一個(gè)輸出層被添加到該網(wǎng)絡(luò)的頂部，并且使用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行微調(diào)，這個(gè)工作對(duì)手寫(xiě)數(shù)字的識(shí)別效果顯著。

Hinton等[2]將DBN應(yīng)用于對(duì)MNIST數(shù)據(jù)集的數(shù)字識(shí)別任務(wù)上。他提出了網(wǎng)絡(luò)結(jié)構(gòu)為784500500200010的DBN模型，其中第一層的784個(gè)特征是由MNIST數(shù)據(jù)集中圖像的像素28×28而得來(lái)的，最后一層是含有標(biāo)簽的10個(gè)單元，中間三層是函數(shù)隨機(jī)二進(jìn)制神經(jīng)元的隱藏層單元。Hinton在文章中提到該算法能達(dá)到1.25%的分類錯(cuò)誤率。文獻(xiàn)[4]在Hinton等[2]提出的標(biāo)準(zhǔn)DBN基礎(chǔ)上改進(jìn)了受限玻爾茲曼機(jī)（Restricted Boltzmann Machine， RBM）的采樣方法，將原始的對(duì)比散度（Contrastive Divergence， CD）算法改為持續(xù)自由能量對(duì)比散度（Free Energy in Persistent Contrastive Divergence， FEPCD）算法，最終MNIST數(shù)據(jù)集的識(shí)別結(jié)果達(dá)到1.11%的分類錯(cuò)誤率。文獻(xiàn)[5]中Liu提出了一種新的基于標(biāo)準(zhǔn)DBN的分類器判別式深度信念網(wǎng)絡(luò)（Discriminative Deep Belief Network， DDBN），整合了DBN的抽象能力和反向傳播策略的鑒別能力，其除了對(duì)MNIST數(shù)據(jù)集進(jìn)行識(shí)別之外，還對(duì)Caltch 101數(shù)據(jù)集進(jìn)行分類識(shí)別。

Hinton等[6]提出DBN是作為非線性模型進(jìn)行特征的提取和降維，DBN是一個(gè)在最后一層重構(gòu)產(chǎn)生的特征可見(jiàn)數(shù)據(jù)的能力模型。當(dāng)一個(gè)一般的神經(jīng)網(wǎng)絡(luò)被用于多層時(shí)，神經(jīng)網(wǎng)絡(luò)極容易被困在局部極小和其性能也減小，因此，確定神經(jīng)網(wǎng)絡(luò)權(quán)值的初始值至關(guān)重要。

Hinton等[6]提出的DBN是非線性模型，用來(lái)進(jìn)行特征的提取和降維，是一種在最后一層重構(gòu)產(chǎn)生的特征可見(jiàn)數(shù)據(jù)的能力模型。一般的神經(jīng)網(wǎng)絡(luò)被用于多層時(shí)，極容易被困在局部極小和其性能也較低，因此，確定神經(jīng)網(wǎng)絡(luò)的權(quán)值的初始

值至關(guān)重要，而DBN很好地解決了權(quán)值初始化的問(wèn)題。

本文引進(jìn)丁鋒等[7]和Ding[8]提出的多新息辨識(shí)理論，提出了一種基于多新息理論的深度信念網(wǎng)絡(luò)學(xué)習(xí)算法，改進(jìn)算法在原有的基礎(chǔ)上提高了權(quán)值誤差的收斂速度，提高了識(shí)別MNIST數(shù)據(jù)集的精確度。

DBN模型進(jìn)行特征的提取需要三個(gè)過(guò)程，分別是預(yù)訓(xùn)練過(guò)程、微調(diào)過(guò)程和測(cè)試過(guò)程，以下將詳細(xì)介紹三個(gè)過(guò)程。

1.1預(yù)訓(xùn)練過(guò)程

預(yù)訓(xùn)練是如圖1中自底向上識(shí)別權(quán)值與偏置的過(guò)程，此過(guò)程將輸入數(shù)據(jù)經(jīng)過(guò)網(wǎng)絡(luò)的每一層提取特征后獲得激勵(lì)響應(yīng)，將其添加至輸出層，具體過(guò)程如下：

1）先單獨(dú)無(wú)監(jiān)督地訓(xùn)練每一層RBM網(wǎng)絡(luò)，在確保特征向量映射到不同特征空間的同時(shí)，盡可能多地保留特征信息。

2）在DBN的最后一層設(shè)置一個(gè)logistic分類器，用于接受RBM的輸出特征向量，將其作為logistic回歸網(wǎng)絡(luò)的輸入特征向量，進(jìn)行有監(jiān)督的訓(xùn)練。而且每一個(gè)RBM網(wǎng)絡(luò)層能夠確保自身層內(nèi)的權(quán)值對(duì)該層特征向量映射達(dá)到最優(yōu)，而不是對(duì)整個(gè)DBN的特征向量映射達(dá)到最優(yōu)，所以反向傳播會(huì)將錯(cuò)誤信息自上向下傳播至每一層RBM，從而需要微調(diào)整個(gè)DBN。RBM網(wǎng)絡(luò)訓(xùn)練模型過(guò)程的目的是對(duì)logistic回歸網(wǎng)絡(luò)的權(quán)值參數(shù)的初始化，使DBN克服logistic回歸網(wǎng)絡(luò)因隨機(jī)初始化權(quán)值參數(shù)而容易陷入局部最優(yōu)和訓(xùn)練時(shí)間過(guò)長(zhǎng)的缺點(diǎn)。

1.2微調(diào)過(guò)程

微調(diào)是如圖1自頂向下更新權(quán)值和偏置的過(guò)程，此過(guò)程可以大幅度提升一個(gè)自編碼神經(jīng)網(wǎng)絡(luò)的性能表現(xiàn)，將網(wǎng)絡(luò)的所有層視為一個(gè)模型，在每次迭代中，網(wǎng)絡(luò)中的所有權(quán)值和偏置都會(huì)被優(yōu)化。具體過(guò)程如下：

2.2結(jié)合多新息的DBN算法——MIDBN

DBN經(jīng)過(guò)無(wú)監(jiān)督和逐層的訓(xùn)練[14-15]，使得在利用反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行全局優(yōu)化之前，網(wǎng)絡(luò)參數(shù)能有一個(gè)好的初始值，一個(gè)較好的局部極小點(diǎn)就在訓(xùn)練完成時(shí)達(dá)到。在學(xué)習(xí)系統(tǒng)中，有可能數(shù)以百萬(wàn)計(jì)的樣本和權(quán)值，在最上層加上帶有標(biāo)簽的樣本，用來(lái)訓(xùn)練機(jī)器。如圖1所示，為了正確地調(diào)整權(quán)值向量，用反向傳播算法計(jì)算每個(gè)權(quán)值的梯度向量，表示如果權(quán)值增加了一個(gè)很小的值，那么誤差會(huì)增加或減少的量。反向傳播算法通過(guò)多層網(wǎng)絡(luò)的每一層可以被重復(fù)地用于傳播梯度；從該網(wǎng)絡(luò)的最頂層的輸出一直到最底層，每層的輸入導(dǎo)數(shù)求解完成之后，就可以求解每一層權(quán)值的梯度矢量，權(quán)值向量在梯度矢量的相反方向上進(jìn)行調(diào)整。隨機(jī)梯度算法的計(jì)算量小，收斂速度慢，為了提高隨機(jī)梯度辨識(shí)方法的收斂速度，引入新息長(zhǎng)度。圖1中，在自頂向下過(guò)程中修正每層網(wǎng)絡(luò)權(quán)值和偏置，所有層更新完成時(shí)即是一個(gè)周期，在此過(guò)程中每次的權(quán)值和偏置更新都是基于上一個(gè)周期的對(duì)應(yīng)值，在DBN原有更新權(quán)值和偏置的基礎(chǔ)上，對(duì)每層網(wǎng)絡(luò)對(duì)應(yīng)的前幾個(gè)周期的值進(jìn)行充分利用，將單新息擴(kuò)展為新息向量，從而提高誤差的收斂速率。

在對(duì)時(shí)變系統(tǒng)進(jìn)行辨識(shí)時(shí)，如果網(wǎng)絡(luò)的權(quán)值按照某種規(guī)律動(dòng)態(tài)變化，那么網(wǎng)絡(luò)的輸入輸出映射關(guān)系也必然會(huì)隨著時(shí)間而變化，從而有可能對(duì)時(shí)變系統(tǒng)進(jìn)行辨識(shí)。由于權(quán)值隨時(shí)間變化的規(guī)律很難獲得，故將網(wǎng)絡(luò)微調(diào)的整個(gè)周期作為新息長(zhǎng)度p，周期數(shù)作為時(shí)間t，定義正整數(shù)序列{t0，t1，t2，…，ts}，滿足0

本文實(shí)驗(yàn)所涉及的評(píng)判標(biāo)準(zhǔn)主要有以下幾個(gè)方面：

1）錯(cuò)誤率。錯(cuò)誤率指標(biāo)主要用于衡量不同分類模型對(duì)于數(shù)據(jù)集分類的錯(cuò)誤程度，該指標(biāo)是用來(lái)衡量分類錯(cuò)誤程度的一個(gè)重要指標(biāo)，直接關(guān)系著算法的可靠性。在Matlab中使用公式計(jì)算錯(cuò)誤率：

err=mean（zeros（（epoch-numbatches）：（epoch-1）））×100%

其中：epoch表示周期數(shù)，numbatches表示批次數(shù)。

表1給出了不同算法對(duì)MNIST數(shù)據(jù)集分類的錯(cuò)誤率[4]，其中標(biāo)準(zhǔn)DBN算法、含有FEPCD的DBN改建算法和本文中的MIDBN算法均使用60000個(gè)樣本訓(xùn)練，10000個(gè)樣本測(cè)試，50個(gè)周期訓(xùn)練，150個(gè)周期測(cè)試，用相同的網(wǎng)絡(luò)結(jié)構(gòu)，并且其相關(guān)參數(shù)學(xué)習(xí)率等也相同的條件下進(jìn)行的實(shí)驗(yàn)。顯然，加入多新息的DBN算法運(yùn)算量加大，運(yùn)行速度下降，但改進(jìn)算法以時(shí)間耗費(fèi)為代價(jià)獲得了數(shù)據(jù)集分類錯(cuò)誤率的降低。表1

中的時(shí)間是指每個(gè)周期所用時(shí)間，其中下劃線的數(shù)據(jù)是本文改進(jìn)算法對(duì)MNIST數(shù)據(jù)分類后的錯(cuò)誤率，可以看出，MIDBN算法有更小的錯(cuò)誤率。

2）誤差。對(duì)實(shí)驗(yàn)中誤差數(shù)據(jù)進(jìn)行仿真，實(shí)驗(yàn)過(guò)程中的訓(xùn)練周期為50，進(jìn)行微調(diào)的周期為150。圖3是MIDBN算法和其他分類器對(duì)MNIST數(shù)據(jù)集分類的誤差曲線對(duì)比分析。如圖3中最下邊曲線表示在150個(gè)周期中本文的改進(jìn)算法MIDBN對(duì)MNIST數(shù)據(jù)集進(jìn)行分類時(shí)其誤差的曲線，上邊的曲線從上到下依次是SVM、KNN、DBN和FEPCD算法在同樣條件下對(duì)MNIST數(shù)據(jù)集進(jìn)行分類時(shí)其誤差的曲線?？梢钥闯鯩IDBN中MNIST數(shù)據(jù)集的誤差曲線收斂得更快。

3.3Caltech 101數(shù)據(jù)集

以上實(shí)驗(yàn)中驗(yàn)證了MIDBN算法對(duì)MNIST數(shù)據(jù)集的分類時(shí)，其誤差有明顯地降低，本節(jié)則將Caltech 101數(shù)據(jù)集在MIDBN算法和其他分類器算法上進(jìn)行分類識(shí)別。Caltech 101數(shù)據(jù)集包含有101類的圖像，在本文的實(shí)驗(yàn)中，選用其中的5個(gè)類。在本次Caltech 101數(shù)據(jù)集實(shí)驗(yàn)中MIDBN結(jié)構(gòu)為4005005009005，輸入層是將圖片轉(zhuǎn)換為20×20像素即400個(gè)單元，輸出層是5個(gè)單元，三個(gè)隱藏層分別是500、500、900個(gè)單元。如圖4所示是Caltech 101數(shù)據(jù)集的不同類別。

表2即是本次實(shí)驗(yàn)的誤差分類錯(cuò)誤率結(jié)果，由于本次實(shí)驗(yàn)的數(shù)據(jù)集樣本數(shù)目少，類別小，因此實(shí)驗(yàn)結(jié)果與MNIST數(shù)據(jù)集相比較不是特別理想。我們將Caltech 101數(shù)據(jù)集在不同分類器下的結(jié)果進(jìn)行比較。

4結(jié)語(yǔ)

基于對(duì)DBN算法中的不足，本文提出了結(jié)合多新息隨機(jī)梯度辨識(shí)的深度信念網(wǎng)絡(luò)學(xué)習(xí)算法，在深度信念網(wǎng)絡(luò)的基礎(chǔ)上加上多新息理論算法。改進(jìn)算法MIDBN結(jié)合歷史周期的數(shù)據(jù)信息，充分利用隱含在過(guò)去數(shù)據(jù)中的有用信息，使得每層網(wǎng)絡(luò)的連接權(quán)值和偏置能夠更快地達(dá)到預(yù)測(cè)值。仿真結(jié)果表明，誤差的收斂速率提高，并且MIDBN算法在對(duì)MNIST手寫(xiě)數(shù)據(jù)集和Caltech 101數(shù)據(jù)集的識(shí)別中，最終分類錯(cuò)誤率有所降低。

參考文獻(xiàn)：

[1]

LECUN Y， BENGIO Y， HINTON G E， et al. Deep learning [J]. Nature， 2015， 521（7553）： 436-444.

[2]

HINTON G E， OSINDERO S， TEH Y W. A fast learning algorithm for deep belief nets [J]. Neural Computation， 2006， 18（7）： 1527-1554.

[3]

LAROCHELLE H， ERHAN D， COURVILLE A， et al. An empirical evaluation of deep architectures on problems with many factors of variation [C]// ICML 07： Proceedings of the 2007 24th International Conference on Machine Learning. New York： ACM， 2007： 473-480.

[4]

KEYVANRAD M A， HOMAYOUNPOUR M M. Deep belief network training improvement using elite samples minimizing free energy [J]. International Journal of Pattern Recognition and Artificial Intelligence， 2014， 29（5）：1411-4046.

http：//xueshu.baidu.com/s？wd=paperuri%3A%282e0ed0ef0b45da606b7629105f1f17ed%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1411.4046v1&ie=utf-8&sc_us=758889154434608003

KEYVANRAD M A， HOMAYOUNPOUR M M. Deep belief network training improvement using elite samples minimizing free energy [EB/OL]. [20151122]. http：//xueshu.baidu.com/s？wd=paperuri%3A%282e0ed0ef0b45da606b7629105f1f17ed%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1411.4046v1&ie=utf8&sc_us=758889154434608003.

[5]

LIU Y， ZHOU S， CHEN Q. Discriminative deep belief networks for visual data classification [J]. Pattern Recognition， 2011， 44（10/11）： 2287-2296.

[6]

HINTON G E， SALAKHUTDINOV R. Reducing the dimensionality of data with neural networks [J]. Science， 2016， 313（5786）： 504-507.

[7]

丁鋒，蕭德云，丁韜.多新息隨機(jī)梯度辨識(shí)方法[J].控制理論與應(yīng)用，2003，20（6）：870-874.（DING F， XIAO D Y， DING T. Multiinnovation stochastic gradient identification methods [J]. Control Theory and Applications， 2003， 20（6）： 870-874.）

[8]

DING F. Several multiinnovation identification methods [J]. Digital Signal Processing， 2010， 20（4）： 1027-1039.

[9]

HINTON G E. A practical guide to training restricted Boltzmann machines [C]// Neural Networks： Tricks of the Trade， LNCS 7700. Berlin： Springer， 2012： 599-619.

[10]

SWERSKY K， CHEN B， MARLIN B， et al. A tutorial on stochastic approximation algorithms for training restricted Boltzmann machines and deep belief nets [C]// Proceedings of the 2010 Information Theory and Applications Workshop. Piscataway， NJ： IEEE， 2010：1-10.

[11]

丁潔，謝莉，丁鋒. 非均勻采樣系統(tǒng)多新息隨機(jī)梯度辨識(shí)性能分析[J].控制與決策，2011，26（9）：1338-1342.（DING J， XIE L， DING F. Performance analysis of multiinnovation stochastic gradient identification for nonuniformly sampled systems [J]. Control and Decision， 2011， 26（9）： 1338-1342.）

[12]

丁鋒.系統(tǒng)辨識(shí)（6）：多新息辨識(shí)理論與方法[J].南京信息工程大學(xué)學(xué)報(bào)，2012，4（1）：1-28.（DING F. System identification. Part F： multiinnovation identification theory and methods [J]. Journal of Nanjing University of Information Science and Technology， 2012， 4（1）：1-28.）

[13]

丁鋒，楊家本.衰減激勵(lì)條件下確定性系統(tǒng)多新息辨識(shí)的收斂性分析[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），1998，38（9）：111-115.（DING F， YANG J B. Convergence of multiinnovation identification under attenuating excitation conditions for deterministic systems [J]. Journal of Tsinghua University （Science and Technology）， 1998，38（9）：111-115.）

[14]

LEE H， EKANADHAM C， NG A Y. Sparse deep belief net model for visual area V2 [J]. Advances in Neural Information Processing Systems， 2007， 20： 873-880.

LEE H， EKANADHAM C， NG A Y. Sparse deep belief net model for visual area V2 [EB/OL]. [20151126]. http：//web.eecs.umich.edu/～honglak/nips07sparseDBN.pdf.

[15]

KRIZHEVSKY A， Learning multiple layers of features from tiny images [D]. Toronto： University of Toronto， 2009：17.

[16]

LECUN Y， CORTES C. The MNIST database of handwritten digits [DB/OL]. [2011]. http：//yann.lecun.com/exdb/mnist/index.html.

LECUN Y， CORTES C. The MNIST database of handwritten digits [EB/OL]. [20111220]. https：//www.lri.fr/～marc/Master2/MNIST_doc.pdf.

LECUN Y， CORTES C. The MNIST database of handwritten digits [DB/OL]. [20111220]. http：//yann.lecun.com/exdb/mnist/index.html.

[17]

LI F F， FERGUS R， PERONA P. Learning generative visual models from few training examples： an incremental Bayesian approach tested on 101 object categories [C]// CVPRW 04： Proceedings of the 2004 Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004，12： 178.

[18]

KEYVANRAD M A， HOMAYOUNPOUR M M. A brief survey on deep belief networks and introducing a new object oriented Matlab toolbox （DeeBNetV2.2） [J]. Computer Vision and Pattern Recognition， 2014， 12：1408-3264.

KEYVANRAD M A， HOMAYOUNPOUR M M. A brief survey on deep belief networks and introducing a new object oriented Matlab toolbox （DeeBNetV2.2） [EB/OL]. [20151106]. https：//www.researchgate.net/publication/264790642_A_brief_survey_on_deep_belief_networks_and_introducing_a_new_object_oriented_MATLAB_toolbox_DeeBNet_V20.