徐 毅，李蓓蓓，宋 威

江南大學 物聯網工程學院，江蘇 無錫 214122

1 引言

近年來，神經網絡[1]被廣泛地應用于人工智能領域，并基于此提出了許多非線性處理層的深層模型和體系結構。深度學習[2-3]是對人工神經網絡的發(fā)展，它試圖建立結構更加復雜，層次更加豐富的神經網絡，通過逐層學習把前一層學習到的知識傳遞到下一層，將底層特征組合成更加抽象的高層表示[4]。最經典的深度學習方法是深度置信網絡（deep belief network，DBN）[5-6]，由多層受限的玻爾茲曼機（restricted Boltzmann machine，RBM）組成，通過使用堆疊的RBM可以創(chuàng)建分層處理的DBN。因此，DBN的大部分改進是源于RBM的改進。DBN是一種概率生成模型，通過建立輸入數據和數據標簽之間的聯合概率分布，在每輪訓練過程中更新神經元間的權重參數，使整個神經網絡按照最大概率來重構輸入數據。目前，學者們已經提出很多DBN模型，例如Hinton等人在文獻[6]中提出從下到上學習單層概率圖模型的算法；Kaiser等人[7]提出了一種新穎的卷積DBN模型；特別地，由Hinton等人提出的模型是訓練深層神經網絡的突破口。如今，DBN已經成功應用于各種現實世界的任務，比如手寫字體識別[6,8]、語音識別[9]、場景分類[10]、自然語言處理[11]以及各種視覺數據分析任務[12-13]。

盡管DBN模型已經取得了令人鼓舞的成就，但是在訓練過程中存在特征同質化現象，即存在大量的共有特征，導致隱藏層單元的后驗概率偏高，不能很好地學習到數據有用的特征表示，解決該問題的方法主要是在RBM訓練中引入稀疏正則項來調節(jié)隱藏單元的稀疏性。目前學者們已經提出多種稀疏RBM模型，Hinton[14]利用交叉熵的概念提出了交叉熵稀疏懲罰因子，使得隱單元具備整體稀疏性；文獻[15]通過引入對比散度[16]的稀疏約束，使得模型具有較小的重構誤差，并使用折衷系數很好地解決了飽和問題；Lee等人[17]提出基于誤差平方和的稀疏RBM（sparse restricted Boltzmann machine，SRBM），懲罰平均激活偏離給定（低）固定水平p的隱單元；文獻[18]提出基于率失真理論的稀疏RBM（sparse response restricted Boltzmann machine，SR-RBM），將原始輸入分布與RBM學習到的均衡分布之間的KL散度作為損失函數，但目前尚無得到SR-RBM失真度量的正確方法，有待于進一步研究；Chen等人[19]通過引入基于流行的局部性來保留對RBM隱藏層的約束，最終學習到稀疏和區(qū)分性表示。

總之對于DBN而言，利用RBM的變體就可以通過指定“稀疏目標”來達到二進制隱藏單元的稀疏行為。但是現有方法需要事先設定“稀疏目標”，隱藏單元在某種狀態(tài)下都具有相同的稀疏程度，而隱藏單元的稀疏度與給定的數據相關，每個隱藏單元的激活概率可能相同也可能不同。因此，針對上述問題，本文提出了一個改進的稀疏深度置信網絡。首先，它根據隱藏層節(jié)點的激活概率與稀疏系數之間的差距而具有不同的行為，并且具有可以控制稀疏力度的位置參數；其次，本文算法在樣本較少時仍可以獲得數據的主要特征，并一定程度上抑制了訓練數據較少的情況下出現的過擬合現象，根據實驗驗證與分析，該方法在不同數據集中都實現了最佳的分類精度，且具有更優(yōu)的特征提取能力。

2 相關工作

2.1 受限玻爾茲曼機

受限玻爾茲曼機（RBM）[4,14]由一個可視層v和一個隱藏層h組成，可視層包括n個單元v={v1,v2,…,vn}，隱藏層包括m個單元h={h1,h2,…,hm}。RBM是基于能量的模型，可視層和隱含層的能量函數公式為：

式中，θ={Wij,ai,bj}是RBM的參數，Wij表示可視層和隱藏層之間的連接權重，ai表示可視層的偏置，bj表示隱藏層的偏置。

該模型v和h的聯合概率分布為：

其中，Z(θ)是配分函數（partition function）。

網絡分配給可視單元的概率通過對所有可能的隱藏單元求和給出：

根據貝葉斯公式的原理，可推導出隱藏單元和可視單元的激活狀態(tài)分別為：

其中，σ(x)為非線性的sigmoid激活函數。

利用極大似然法求解對數似然函數P(v)：

其中，m是訓練樣本的數量。

選用對比散度（contrastive divergence，CD）算法[16]訓練RBM網絡，僅需有限步吉布斯采樣就可以得出滿足條件的近似采樣值。然后通過對權重的概率對數求偏導數實現對參數的更新。

2.2 深度置信網絡模型

深度信念網絡（DBN）是一種概率生成模型，可以看作由多個RBM堆疊起來的深度神經網絡，訓練過程通常包括預訓練和微調兩個階段：

預訓練階段：采用貪婪無監(jiān)督學習算法自底向上地逐層訓練各層RBM，將底層RBM的輸出作為高層RBM的輸入，以此類推。每一層RBM經過多次迭代訓練，得到無監(jiān)督的DBN網絡。

微調階段：在DBN的最后一個RBM后設置一層BP神經網絡，將最后一個RBM的輸出值作為BP的輸入值，計算出前向傳播的輸出結果和標簽數據的誤差，通過自頂向下的有監(jiān)督學習微調網絡。

3 改進的稀疏深度置信網絡模型

3.1 模型求解

根據研究[20]，稀疏表示中具有可以用來解釋學習特征的屬性，即具備對應于輸入有意義的方面以及捕獲數據變化的因素。因此為了實現深層結構中的稀疏特征，在RBM的最大似然函數中添加稀疏正則項，可以學習有用的低級特征表示。

假設給定一個訓練集{v(1),v(2),…,v(m)}，使用稀疏正則化的無監(jiān)督預訓練優(yōu)化模型定義如下：

其中，Funsup表示RBM的似然函數，即式（7）所示的；λ為正則化參數，反映數據分布相對于正則化項的相對重要性；Fsparse表示任意稀疏正則化函數。

增加稀疏正則化項后模型的目標函數為：

通過定義稀疏正則項來減少訓練數據的平均激活概率，確保模型神經元的“激活率”保持在相當低的水平，使得神經元的激活是稀疏的。受壓縮感知理論以及文獻[17-18]的啟發(fā)，本文提出一種基于Laplace函數的稀疏正則化受限玻爾茲曼機（Laplace sparse RBM，LS-RBM），通過使用拉普拉斯函數懲罰來誘導隱含層單元的稀疏狀態(tài)，該函數具有重尾特征，根據隱含層單元激活概率與p的差距具有不同稀疏程度。另外，將該函數中的位置參數用來控制稀疏力度，可以針對不同的樣本特征實現不同的稀疏性。

其中，拉普拉斯稀疏懲罰項定義如下：

式中，L(qj,p,u)為拉普拉斯概率密度函數，qj表示所給數據第j個隱藏單元的條件期望的平均值，p是一個常數，控制n個隱藏單元hj的稀疏度，u表示位置參數，通過改變它的值可以用來控制稀疏力的程度。qj表示如下：

式中,Ε(?)是給定數據的第j個隱藏單元的條件期望，m是訓練數據的數量，是給出可見層v時，隱藏層單元hj的激活概率，g是sigmoid函數。

因此訓練LS-RBM的目標函數如下所示：

式中，第一項是對數似然函數項，第二項為稀疏正則項，其中λ為該項的參數，用來表示該項在目標函數中與數據分布之間的相對重要性。因此在最大化對數似然函數的同時也要最大化稀疏正則項求解。

若LS-RBM整個目標函數的求解直接使用梯度下降法，那么因配分函數Z的存在會使得計算對數似然函數項梯度的代價是昂貴的，尤其當訓練樣本的特征維數較高時，會大大增加網絡訓練的時間復雜度。因此參照文獻[17]的方法，通過CD算法對似然函數項進行一次參數更新，在此基礎上使用正則化項的梯度進行一步梯度下降。CD算法僅需一步抽樣就可以很好地近似對數似然的梯度，縮短了訓練時間，免去了繁瑣的求導過程；稀疏函數的求解符合無約束優(yōu)化問題，求導簡單，因此使用梯度下降法對該函數進行逐步迭代求解。通過這種方法可以高效地訓練網絡模型，得到參數的最優(yōu)解。

LS-RBM模型中各參數的梯度計算如下：

對于過于稀疏的數據集，若沒有隱藏層偏置項b，LS-RBM的W對于數據的影響就會變小，很難激活一些隱藏層單元，因此隱藏層的偏置項直接控制隱藏單元的激活程度，使得隱藏層具備稀疏性；而a為輸入空間的偏置項，僅控制一個單變量，其梯度根據輸入數據的特征而波動，不對其進行正則化也不會導致太大方差?；诖?，為了方便計算，稀疏正則項的梯度只對W和b進行了更新。其中第一項的求導結果如式（8）和式（10）所示，第二項展開如下：

對隱藏層偏置求偏導可得：

將進行求導后的參數值帶入到參數更新式中，得到新的參數值：

LS-RBM模型算法如算法1所示，更新參數值以后，新的參數值繼續(xù)訓練網絡，通過不斷優(yōu)化目標函數，使隱含層節(jié)點的激活概率逐漸接近給定的固定值p，學習到一組權重參數以及相應的偏置，通過這些合適的參數可以尋找到稀疏特征向量，控制冗余特征，用主要的特征來組合學習權重以重構輸入數據，提高了算法對噪聲的魯棒性。

算法1LS-RBM學習算法

輸入：學習率α，小批量batches，訓練樣本以及對應的標簽{X,Y}={(x(1),y(1)),(x(2),y(2)),…,(x(n),y(n))}，預訓練最大迭代次數T，稀疏正則項參數λ，稀疏水平參數p，位置參數u。

預訓練階段：

初始化網絡參數：第一個RBM可見層節(jié)點的輸出值v1=X，W初始化為正態(tài)分布（0,0.01）的數值，偏置a和b初始化為0；

3.2 模型分析

在本文提出的LS-RBM方法中，拉普拉斯分布是一種連續(xù)的分布，與正態(tài)分布相比較而言，具有更平坦的尾部。當固定期望概率p時，也就是說希望所有隱單元為相同的平均激活概率，這時改變位置參數u的大小，函數分布會隨著u的變化有不同的分布曲線，從而使得同層中的不同隱藏單元根據數據特征的不同而得到不同的激活概率；而λ的值反映稀疏正則項和數據分布之間的相對重要性，值越大對應的懲罰也越大。

3.3 LS-DBN模型

DBN模型[6]是由多層RBM組成的生成模型，每一層包含一組二進制或者實值單位，通過貪婪逐層訓練方法來學習更加抽象和有意義的特征，同時基于該模型結構，將稀疏正則化項也引入到DBN中，本文提出了一種基于Laplace函數的稀疏DBN（Laplace sparse DBN，LS-DBN），它由幾個LS-RBM層疊而成，使用上述方法層層訓練網絡，最底層的LS-RBM訓練好的參數和輸出作為訓練模型中下一個更高層“數據”，也就是下一個LS-RBM，多次循環(huán)迭代之后，可以學習到一個深層次的稀疏DBN模型。LS-DBN的算法流程如下所示：

步驟1使用算法1訓練第一個LS-RBM；

步驟2通過第一層的特征訓練好W(1)和b(1)，以及使用P(h(1)|v(1),W(1),b(1))得到第二個LS-RBM的輸入特征，使用算法1訓練第二個LS-RBM；

步驟3使用第二層的特征訓練好W(2)和b(2)，按照步驟2使用P(h(2)|h(1),W(2),b(2))得到下一個LS-RBM的輸入特征；

步驟4遞歸地按照以上步驟直到訓練到L-1層；

步驟5通過對L層的W(L)和b(L)進行初始化，最終使用{W(1),W(2),…,W(L)}和{b(1),b(2),…,b(L)}組成一個具有L層的深度神經網絡，輸出層為有標簽數據，使用Softmax分類器作為輸出層；

步驟6使用{W(1),W(2),…,W(L)}和{b(1),b(2),…,b(L)}作為整個網絡的初始參數，使用梯度下降算法微調整個LS-DBN網絡。

3.4 算法流程

根據前面所描述的算法，為了更加系統闡述LSDBN模型的訓練過程，給出算法流程圖如圖1所示。

Fig.1 LS-DBN training process圖1 LS-DBN訓練過程

4 實驗結果與分析

4.1 實驗環(huán)境與參數設置

實驗在Linux操作系統上運行，系統的具體配置為：CPU為E5-2620V4*2，GPU為GTX 1080 Ti*4，固態(tài)硬盤為480 GB，運行內存為32 GB*8，使用Matlab R2014b開發(fā)環(huán)境。

本文在MNIST和Pendigits上進行實驗分析，以評估和比較本文算法與人工神經網絡（artificial neural network，ANN）、自動編碼器（auto-encoder，AE）、RBM以及學者所改進的SRBM[17]、SR-RBM[18]算法。為驗證深層次模型的有效性，與DBN、基于誤差平方和的稀疏DBN（SDBN）、基于率失真理論的稀疏DBN（SR-DBN）算法進行了實驗分析。在所有實驗中，通過均勻分布的方法初始化權重和偏置。為加快學習過程，將每個數據集分成等份小批量，在每個小批量之后更新權重。以便圖像相關特征的提取，對所有圖像歸一化處理，將特征值映射到0到1區(qū)間。

4.2 MNIST數據集

MNIST手寫體數據集包括60 000個訓練樣本和10 000個測試樣本，每個圖片大小為28×28像素，對應0～9范圍的手寫數字圖像，雖然手寫數字受環(huán)境因素影響具有較大的形態(tài)變化，但是結構特征中的主曲線受字體變形影響較小。本文對每個像素進行了歸一化處理，以灰度圖像的形式進行存儲。傳統RBM的提取的該庫特征以像素級為主，較為模糊，個別具有一些輪廓特征。本文LS-RBM方法提取到大量的局部特征，比如某個數字的凸曲線和凹曲線，大部分字體的輪廓更清晰地呈現出來，而這些輪廓特征是字體識別中具有辨別力的主要特征，因而LSRBM能提取到更多利于分類的相關信息。

本文從60 000個訓練數據抽取每個類別的不同數量的圖像進行訓練，并使用BP（back propagation）算法進行微調。其中，模型包括784個可視單元和500個隱藏單元，學習率設為1，批量數據大小為100，最大迭代次數為100，并使用步長為1的CD算法訓練模型。

為了更準確地衡量RBM、SRBM、SR-RBM以及LS-RBM的稀疏度，采用Hoyer[21]所提出的稀疏性度量方法計算模型學習到的特征表示的稀疏度，稀疏性度量方法如下所示：

其中，x為輸入特征，n為x的維數。稀疏度的取值范圍為[0,1]，越接近于1，表示x越稀疏。本文先計算分批數據的隱藏單元激活概率的稀疏度，然后計算所有數據隱藏單元激活概率的稀疏度平均值。

從表1可知，與SRBM和SR-RBM相比，LSRBM的稀疏度值更高，可以學習到更稀疏的表示，改進的效果更為顯著。

為了證明本文算法在學習稀疏特征方面的優(yōu)勢，訓練由可視層和隱藏層組成的深度結構模型，將提出的LS-RBM算法與SRBM、SR-RBM進行比較。為了測試稀疏懲罰因子影響特征提取的能力，本文在每類不同樣本個數以及所有樣本個數的情況下，懲罰因子取不同值時的分類準確率分別如表2～表4所示。其中表2為SR-RBM在正則化參數λ取值為[0.01，0.10]之間的分類準確率；表3為SRBM在λ取值為[0.01，0.10]和懲罰因子p取值為[0.01，0.10]的分類準確率；表4為LS-RBM在λ取值范圍為[0.01，0.10]，p取值范圍為[0.01，0.10]和尺度參數u取值范圍為[0.1，1.0]的分類準確率。

Table 1 Sparsity of hidden units activation probability on MNIST data set表1 MNIST數據集上隱藏單元激活概率的稀疏度

從表2～表4可以看出，LS-RBM在不同樣本數的分類效果基本上都要優(yōu)于SR-RBM和SRBM，顯然這只是列出了部分參數，在這些參數組合下可以獲得更好的準確率。同時，在樣本較少時分類錯誤率在12%～25%左右，主要原因是由于MNIST數據集的維度較高，樣本較少，而深度學習模型需要大量的樣本訓練，否則會導致模型的性能減弱，從表中對比來看，本文方法的分類錯誤率有所降低，在一定程度上改善了這個問題。

Table 2 Classification accuracy of MNIST data set under SR-RBM algorithm表2 MNIST數據集在SR-RBM算法下分類準確率

Table 3 Classification accuracy of MNIST data set under SRBM algorithm表3 MNIST數據集在SRBM算法下分類準確率

Table 4 Classification accuracy of MNIST data set under LS-RBM algorithm表4 MNIST數據集在LS-RBM算法下分類準確率

為了驗證本文算法的識別能力，與算法ANN、AE、RBM、SRBM、SR-RBM進行分類準確率的比較。如表5所示，給出了SRBM，SR-RBM和LS-RBM在最優(yōu)參數組合下的結果。

Table 5 Classification accuracy of MNIST data set under 6 algorithms表5 MNIST數據集在6種算法下的分類準確率

從表5可以看出，與傳統特征提取算法相比，引入稀疏正則項的算法分類準確度都比較高，在樣本較少時，RBM的算法不如AE算法分類性能好，但隨著樣本數量的增加，RBM的分類性能超過AE，說明RBM需要大量的樣本來訓練模型才能更好地擬合輸入數據，但LS-RBM算法解決了該問題，始終處于最好的識別精度。雖在每類樣本數量較多時提升效果不是很明顯，但比其他稀疏模型具有更好的分類性能，尤其在每類1 000個樣本的情況下達到了96.8%的識別率，比SR-RBM算法要高出3個百分點，也說明具有更好特征提取能力。

為了表達更加直觀清晰，通過圖的形式展現對比實驗結果，并加以分析，如圖2所示。觀察可知，在每類樣本數比較少的情況下LS-RBM分類準確率有了很大的提升，與RBM相比在每類10個樣本時有了10%的提高，比SRBM和SR-RBM分別提高了4%和5%左右的分類準確率，表明LS-RBM的表示比SRBM和SR-RBM具有更優(yōu)的辨別力，改善了RBM算法的稀疏化特征學習性能。

Fig.2 Classification accuracy of MNIST data setunder 6 algorithms圖2 MNIST數據集在6種算法下的分類準確率

鑒于DBN可以學習更高層的抽象表示，比較DBN、SR-DBN、SDBN和LS-DBN的判別能力，構造了兩個隱藏單元都為500的隱藏層，并使用Softmax分類器進行訓練得到最終分類結果，如表6所示?？梢钥闯鲈诓煌瑪盗康臉颖鞠?，LS-DBN算法都達到了最佳的識別精度，相比于傳統DBN算法，都提高了0.2%～5.0%的分類精度，尤其在每類樣本少的情況下，效果提升更為明顯。

Table 6 Classification accuracy of MNIST data set under 4 algorithms表6 MNIST在4種算法下的分類準確率

對于更深層次的稀疏模型，每增加一層就會提取到更抽象的特征，同樣的也會有一些冗余特征的存在影響最終的分類效果。從圖3很明顯地可以看出，LS-DBN可以學習到具有易辨別力的特征，比次高的SDBN最多提高3個百分點，說明LS-DBN對于冗余特征的干擾具有更好的魯棒性。

Fig.3 Classification accuracy of MNIST data setunder 4 algorithms圖3 MNIST數據集在4種算法下的分類準確率

4.3 Pendigits數據集

Pen-based recognition of handwritten digits（Pendigits）數據集包括10 992個數據樣本，分為10個類，其中訓練數據7 494個，測試數據3 298個，每個樣本16個特征向量，同樣對每個類不同數量的圖像進行分析。設置可見層節(jié)點16個，隱含層節(jié)點10個，學習率設為1，分批塊數大小為100，最大迭代次數為1 000。

對于Pendigits數據集，仍將RBM、SRBM、SRRBM、LS-RBM設置為相同的參數值，隱藏單元數量設置為10，對于稀疏正則化系數{λ,p,u}，本文根據模型訓練的性能選擇最佳的值，并與ANN、AE算法進行對比。對于稀疏模型來說，稀疏度越高，算法穩(wěn)定性越高，魯棒性也越強。為了驗證算法的魯棒性，同樣地對幾種算法進行了稀疏度測量，如表7所示。

表7顯示了不同算法在Pendigits數據集的稀疏度，很明顯地可以看出本文LS-RBM算法的稀疏度最高，比傳統RBM算法有了很大的提升，具有很好的稀疏表示能力。同樣地，為了驗證LS-RBM算法與SRBM、SR-RBM的最優(yōu)參數組合，選取懲罰因子在不同的變化值區(qū)間分類準確率分別如表8、表9和表10所示。

Table 7 Sparsity of hidden units activation probability on Pendigits data set表7 Pendigits數據集上隱藏單元激活概率的稀疏度

Table 8 Classification accuracy of Pendigits data set under SR-RBM algorithm表8 Pendigits數據集在SR-RBM算法下的分類準確率

Table 9 Classification accuracy of Pendigits data set under SRBM algorithm表9 Pendigits數據集在SRBM算法下的分類準確率

Table 10 Classification accuracy of Pendigits data set under LS-RBM algorithm表10 Pendigits數據集在LS-RBM算法下的分類準確率

表8顯示的是SR-RBM在正則化參數λ取值范圍為[0.01，0.10]的分類準確率；表9為SRBM在λ取值范圍為[0.01，0.10]和懲罰因子p取值范圍為[0.01，0.10]的分類準確率；表10為LS-RBM在λ取值范圍為[0.1,1.0]、p取值范圍為[0.01,0.10]和位置參數u取值范圍為[0.1,1.0]的分類準確率。觀察可知，LS-RBM在不同樣本數中都取得了最好的分類準確率，同時在大部分參數組合下效果都要好于SRBM和SRRBM算法，且隨著樣本增加，由于特征分布的問題，其他兩種算法會出現分類準確率下降的問題，而LSRBM仍具有良好的效果。

為了驗證本文算法的特征稀疏能力和判別能力，接下來對每類分別為10、20、50、100、500個樣本進行訓練，得到的結果如表11和圖4所示。

Table 11 Classification accuracy of Pendigits data set under 6 algorithms表11 Pendigits數據集在6種算法下的分類準確率

Fig.4 Classification accuracy of Pendigits data set under 6 algorithms圖4 Pendigits數據集在6種算法下的分類準確率

從表11和圖4中可知，大多數算法在每類樣本個數越多時，分類準確率也越來越高。與其他兩種稀疏模型相比，LS-RBM算法每類只有幾十個數據樣本，仍然達到最佳的分類準確率，主要是因為在本文改進的稀疏正則項中具有來控制稀疏強度的位置參數u，當隱藏層單元接近1時，說明該單元可能為主要特征；若隱藏層單元沒有獲得主要的特征，在經過迭代之后激活概率就會逐漸偏離1，使得單元不會激活而達到稀疏的目的，這就可以通過u的值來調節(jié)稀疏的力度。同時該稀疏項通過約束參數的范數使其較小，在一定程度上防止了出現的過擬合現象，因此在樣本較少的情況下，本文算法仍然可以取得較好的分類結果，也可以表明LS-RBM學習到的表示比SRBM和SR-RBM具有更好的辨別力。

為了學習到深層次的特征，在RBM、SRBM、SRRBM和LS-RBM實驗的基礎上使用RBM隱藏單元的激活概率訓練第二個RBM即DBN、SDBN、SRDBN、LS-DBN，隱藏單元仍設為10，迭代次數各為1 000。使用Pendigits數據集測試集測試每個模型的分類準確率，結果如表12和圖5所示。

Table 12 Classification accuracy of Pendigits data set under 4 algorithms表12 Pendigits數據集在4種算法下的分類準確率

Fig.5 Classification accuracy of Pendigits data set under 4 algorithms圖5 Pendigits數據集在4種算法下的分類準確率

觀察表12和圖5可知，經過微調后的LS-DBN、SR-DBN以及SDBN的分類準確率都是優(yōu)于傳統DBN模型的，說明通過LS-RBM、SR-RBM以及SRBM層疊起來的深度神經網絡模型同樣可以實現對數據的高精度識別，尤其對于Pendigits來說，本身數據集維度較低，而本文算法在樣本較少的時候通過稀疏性約束仍然可以獲取到其主要特征，比DBN模型分類精度提升2.7%～6.0%，進一步地證明了本文算法在低維度數據集的適用性。

4.4 訓練時間對比分析

表13給出了不同算法在MNIST和Pendigits數據集的預訓練和微調時間對比，其中，在MNIST上選取60 000個訓練樣本和10 000個測試樣本，在Pendigits上選取7 000個訓練樣本和3 000個測試樣本。從表中看出在MNIST上AE預訓練和微調時間最長；SRBM、SR-RBM和LS-RBM由于在似然函數中加入了稀疏正則項，求導過程影響了訓練時間，因此在兩個數據集上預訓練時間多于RBM模型；對于更深層次的結構，因為復雜的計算過程導致時間慢于DBN模型，但分類效果有一定的提高，本文算法和SDBN、SR-DBN的預訓練時間相差僅有5 s，說明本文算法在保持稀疏模型時間性能的基礎上提高了分類準確率，具有更優(yōu)的分類性能。

Table 13 Comparison of training time of different algorithms表13 不同算法的訓練時間對比 s

5 結束語

本文介紹了深度置信網絡和基于改進的深度置信網絡的原理與算法流程，首先介紹了深度置信網絡模型的結構和訓練過程；然后利用在似然函數中引入稀疏正則項，并提出一種改進的稀疏約束項來調節(jié)隱藏單元的稀疏性，介紹了改進的稀疏DBN的優(yōu)化求解以及算法流程；最后在MNIST和Pendigits手寫體數據庫上進行了實驗，并與兩種典型的稀疏DBN模型以及自動編碼器、ANN算法進行對比分析，說明本文所研究的方法具有更好的稀疏性能以及特征提取能力。但由于算法中參數值的選取是經過大量實驗得到的最佳值，時間復雜度較大，因此下一步會通過優(yōu)化算法比如網格搜索算法進行搜索得到最佳參數組合值。