林少飛，盛惠興，李慶武

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

基于堆疊稀疏自動編碼器的手寫數(shù)字分類

林少飛，盛惠興，李慶武

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

將稀疏自動編碼器（Sparse Autoencoder，SAE）模型應(yīng)用于數(shù)字識別中，并通過多個(gè)稀疏自動編碼器的堆疊構(gòu)建了深度網(wǎng)絡(luò)，采用非監(jiān)督貪婪逐層訓(xùn)練算法（Greedy Layer－Wise Unsupervised Learning Algorithm）初始化網(wǎng)絡(luò)權(quán)重，使用反向傳播算法優(yōu)化網(wǎng)絡(luò)參數(shù)。利用堆疊稀疏自動編碼器學(xué)習(xí)數(shù)字圖像的特征，使用softmax分類器進(jìn)行數(shù)字分類。經(jīng)實(shí)驗(yàn)證明，與其它淺層學(xué)習(xí)模型對比，深度網(wǎng)絡(luò)不僅進(jìn)一步學(xué)習(xí)了數(shù)據(jù)的高層特征，同時(shí)還降低了特征維數(shù)，提高了分類器的分類精度，最終改善了手寫數(shù)字的分類效果。

堆疊稀疏編碼器；非監(jiān)督貪婪逐層訓(xùn)練；反向傳播算法；softmax分類器

1 引 言

手寫數(shù)字識別（Handwritten Numeral Recognition，簡稱HNR）是模式識別學(xué)科的一個(gè)傳統(tǒng)研究領(lǐng)域，主要研究如何利用計(jì)算機(jī)自動辨識手寫的阿拉伯?dāng)?shù)字。經(jīng)過幾十年的發(fā)展，現(xiàn)有HNR技術(shù)取得了諸多進(jìn)展，國內(nèi)外都研發(fā)了相對成熟的產(chǎn)品。但當(dāng)前多數(shù)分類、回歸等學(xué)習(xí)方法都局限于淺層結(jié)構(gòu)學(xué)習(xí)，如K最近鄰節(jié)點(diǎn)算法（k－Nearest Neighbor algorithm，簡稱KNN）［1－2］、支持向量機(jī)（Support Vector Machine，簡稱SVM）［3－4］以及神經(jīng)網(wǎng)絡(luò)［5］。其局限性在于樣本有限、計(jì)算單元對復(fù)雜函數(shù)的表示能力不足以針對復(fù)雜分類問題及其泛化能力受制約等。為克服這些問題，近年來興起了深度學(xué)習(xí)的研究熱潮。所謂深度學(xué)習(xí)，即是通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)對復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)其強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。

稀疏自動編碼器作為深度學(xué)習(xí)中出現(xiàn)的變形結(jié)構(gòu)，具有良好的學(xué)習(xí)數(shù)據(jù)集特征的能力。通過多個(gè)稀疏自動編碼器（Sparse Autoencoder，SAE）的堆疊可以形成堆疊稀疏自動編碼器（Stacked Sparse Autoencoder），堆疊稀疏自動編碼器能夠進(jìn)一步學(xué)習(xí)數(shù)據(jù)集中的特征，同時(shí)降低特征維數(shù)。對于深度網(wǎng)絡(luò)的訓(xùn)練，采用Hinton基于深信度網(wǎng)（Deep Belief Nets，DBN）提出的非監(jiān)督貪婪逐層訓(xùn)練算法［6］。

采用深度學(xué)習(xí)中的稀疏自動編碼器模型，建立了多層的堆疊稀疏自動編碼器網(wǎng)絡(luò)對MNIST數(shù)據(jù)集在matlab上進(jìn)行仿真實(shí)驗(yàn)，對實(shí)驗(yàn)結(jié)果作了分析，并與現(xiàn)有一些識別方法的實(shí)驗(yàn)結(jié)果作比較，得出了結(jié)論。

2 理論與方法

2.1 自動編碼器

假設(shè)一個(gè)未帶類別標(biāo)簽的訓(xùn)練樣本集合x（x∈［0，1］d），通過變換公式（1）將輸入x變換為激活值y，（y∈［0，1］d）。x與y滿足公式（1）：

其中s是一個(gè)非線性函數(shù)，例如sigmoid函數(shù)。θ＝｛W，b｝為參數(shù)集合。然后通過變換公式（2）將激活值y反向變換為對原始輸入x的一種重構(gòu)表示z，y與z滿足公式（2）：

其中θ′＝｛W′，b′｝為參數(shù)集合。公式（1）、（2）兩個(gè)參數(shù)集合中的參數(shù)W′，WT被限制滿足如下關(guān)系W′＝WT。最后通過不斷修改θ和θ′使得平均重構(gòu)誤差L達(dá)到最小化。L定義為：

直觀上講，如果激活值能夠?qū)λ脑驾斎脒M(jìn)行良好重構(gòu)，那么就認(rèn)為它保留了原始數(shù)據(jù)所含有的大部分信息［7－8］?，F(xiàn)今自動編碼器已應(yīng)用于眾多領(lǐng)域如語音識別，并取得巨大成就［9］。

2.2 稀疏編碼

如果只是簡單的保留原始輸入數(shù)據(jù)的信息，并不足以讓自動編碼器學(xué)到一種有用的特征表示。例如，一個(gè)自動編碼器，它的輸入和輸出具有同樣維度，那么自動編碼器只需學(xué)習(xí)到一個(gè)簡單的恒等函數(shù)就可以實(shí)現(xiàn)數(shù)據(jù)的完美重構(gòu)。而實(shí)際則希望它能夠?qū)W習(xí)到一種更復(fù)雜的非線性函數(shù)，因此需要給予自動編碼器一定的約束使其學(xué)習(xí)到一種更好的特征表示。這個(gè)問題可以通過使用概率型限制型玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM），稀疏編碼（Sparse Auto－Encoder，SAE）或者去噪自動編碼（Denoising Auto－Encoder，DAE）對含有噪聲的輸入數(shù)據(jù)進(jìn)行重構(gòu)來解決。一般情況下稀疏編碼和去噪自動編碼比玻爾茲曼機(jī)更有效。

稀疏編碼算法是一種無監(jiān)督學(xué)習(xí)方法，它用來尋找一組“超完備”基向量來更高效地表示樣本數(shù)據(jù)。稀疏編碼算法的目的就是找到一組基向量?i，能將輸入向量X表示為這些基向量的線性組合：

雖然形如主成分分析技術(shù)（PCA）能方便地找到一組“完備”基向量，但是這里是找到一組“超完備”基向量來表示輸入向量X∈Rn（也就是說，k＞n）。超完備基的好處是能更有效地找出隱含在輸入數(shù)據(jù)內(nèi)部的結(jié)構(gòu)與模式。然而，對于超完備基來說，系數(shù)ai不再由輸入向量X唯一確定。因此，在稀疏編碼算法中，有另一個(gè)評判標(biāo)準(zhǔn)“稀疏性”來解決因超完備而導(dǎo)致的退化問題。這里，定義“稀疏性”為：只有很少的幾個(gè)非零元素或只有很少的幾個(gè)遠(yuǎn)大于零的元素。系數(shù)ai是稀疏的意思就是說：對于一組輸入向量，盡可能讓少的幾個(gè)系數(shù)遠(yuǎn)大于零。選擇使用具有稀疏性的分量來表示輸入數(shù)據(jù)是因?yàn)榻^大多數(shù)的感官數(shù)據(jù)，比如自然圖像，可以被表示成少量基本元素的疊加，在圖像中這些基本元素可以是面或者線。有m個(gè)輸入向量的稀疏編碼代價(jià)函數(shù)定義為：

且公式（5）滿足條件，‖?i‖2≤C，?i＝1，...，k

2.3 逐層貪婪訓(xùn)練方法

Hinton基于深信度網(wǎng)（Deep Belief Nets，DBN）提出的非監(jiān)督貪婪逐層訓(xùn)練算法是目前訓(xùn)練深度網(wǎng)絡(luò)比較成功的一種方法［10］。簡單來說，逐層貪婪算法的主要思路是每次只訓(xùn)練網(wǎng)絡(luò)中的一層，即首先訓(xùn)練一個(gè)只含一個(gè)隱藏層的網(wǎng)絡(luò)，僅當(dāng)這層網(wǎng)絡(luò)訓(xùn)練結(jié)束之后才開始訓(xùn)練一個(gè)有兩個(gè)隱藏層的網(wǎng)絡(luò)，以此類推。在每一步中，把已經(jīng)訓(xùn)練好的前k－1層固定，然后增加第k層（也就是將已經(jīng)訓(xùn)練好的前k－1的輸出作為輸入）。每一層的訓(xùn)練可以是有監(jiān)督的（例如，將每一步的分類誤差作為目標(biāo)函數(shù)），但更通常使用無監(jiān)督方法（例如自動編碼器）。這些各層單獨(dú)訓(xùn)練所得到的權(quán)重被用來初始化最終（或者說全部）的深度網(wǎng)絡(luò)權(quán)重，然后對整個(gè)網(wǎng)絡(luò)進(jìn)行“微調(diào)”（即把所有層放在一起來優(yōu)化有標(biāo)簽訓(xùn)練集上的訓(xùn)練誤差）。

3 算法設(shè)計(jì)

3.1 深度網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練方法

堆疊稀疏自動編碼器網(wǎng)絡(luò)本身不具有分類功能，它是一個(gè)特征提取器，所以要實(shí)現(xiàn)分類功能還需要在網(wǎng)絡(luò)最后添加分類器，如支持向量機(jī)（SVM），貝葉斯分類器，softmax分類器等，本實(shí)驗(yàn)選用softmax分類器進(jìn)行訓(xùn)練分類。

在本實(shí)驗(yàn)中，帶有softmax分類器的堆疊稀疏自動編碼器網(wǎng)絡(luò)隱含層共有2層，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示，網(wǎng)絡(luò)訓(xùn)練步驟如下：

（1）用大量的無標(biāo)簽原始輸入數(shù)據(jù)作為輸入，訓(xùn)練出（利用Sparse Autoencoder方法）第一個(gè)隱含層結(jié)構(gòu)的網(wǎng)絡(luò)參數(shù)，并將用訓(xùn)練好的參數(shù)算出第1個(gè)隱含層的輸出。

（2）把步驟1的輸出作為第2個(gè)網(wǎng)絡(luò)的輸入，用同樣方法訓(xùn)練第2個(gè)隱含層網(wǎng)絡(luò)的參數(shù)。

（3）用步驟2的輸出作為多分類器softmax的輸入，然后利用原始數(shù)據(jù)標(biāo)簽來訓(xùn)練出softmax分類器的網(wǎng)絡(luò)參數(shù)。

（4）計(jì)算2個(gè)隱含層加softmax分類器整個(gè)網(wǎng)絡(luò)一起的代價(jià)函數(shù)，以及整個(gè)網(wǎng)絡(luò)對每個(gè)參數(shù)的偏導(dǎo)函數(shù)值。

（5）用步驟1，2和3的網(wǎng)絡(luò)參數(shù)作為整個(gè)深度網(wǎng)絡(luò)（2個(gè)隱含層，1個(gè)softmax輸出層）參數(shù)初始化的值，然后用lbfs算法迭代求出上面代價(jià)函數(shù)最小值附近處的參數(shù)值，并作為整個(gè)網(wǎng)絡(luò)最后的最優(yōu)參數(shù)值。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖

上面的訓(xùn)練過程是針對使用softmax分類器進(jìn)行的，而softmax分類器的代價(jià)函數(shù)是有公式計(jì)算的。所以在進(jìn)行參數(shù)校正時(shí)，可以把所有網(wǎng)絡(luò)看做是一個(gè)整體，然后計(jì)算整個(gè)網(wǎng)絡(luò)的代價(jià)函數(shù)和其偏導(dǎo)，最后結(jié)合標(biāo)簽數(shù)據(jù)，將前面訓(xùn)練好的參數(shù)作為初始參數(shù)，用lbfs優(yōu)化算法求得整個(gè)網(wǎng)絡(luò)參數(shù)。

3.2 具體算法

由稀疏自動編碼器堆疊構(gòu)成的深度學(xué)習(xí)網(wǎng)絡(luò)算法流程圖如圖2所示，主要步驟如下：

（1）將28×28的原始圖像矩陣x作為輸入，訓(xùn)練第一層稀疏自動編碼器，得到參數(shù)θ1和由隱層單元激活值a1（隱層神經(jīng)元節(jié)點(diǎn)的輸出值，相當(dāng)于3.1節(jié)中介紹的y）組成的向量A1。

（2）將A1作為第二層稀疏自動編碼器的輸入，繼續(xù)訓(xùn)練得到第二層參數(shù)θ2和由激活值a2組成的向量A2。

（3）將A2和原始數(shù)據(jù)標(biāo)簽L作為第三層softmax分類器的輸入，得到分類器的參數(shù)θ3。

（4）使用反向傳播算法進(jìn)行微調(diào)（fine tuning），算法描述如圖2所示。

（5）利用訓(xùn)練好的網(wǎng)絡(luò)對數(shù)據(jù)集進(jìn)行分類，得到結(jié)果。

圖2 算法流程圖

4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)基于Matlab平臺實(shí)現(xiàn)，使用測試庫為MNIST手寫數(shù)字庫數(shù)據(jù)集。MNIST字庫，為Google實(shí)驗(yàn)室的Corinna Cortes和紐約大學(xué)柯朗研究所的Yann LeCun建立的一個(gè)手寫數(shù)字?jǐn)?shù)據(jù)庫，該訓(xùn)練庫中有60，000張手寫數(shù)字圖像，測試庫有10，000張。

4.1 淺層分類器比較

比較淺層模型分類器knn、bp神經(jīng)網(wǎng)絡(luò)和softmax這三類分類器下的識別率，此時(shí)都是用二值點(diǎn)陣信息特征作為輸入。其中bp神經(jīng)網(wǎng)絡(luò)是由輸入層，隱含層，輸出層構(gòu)成的三層神經(jīng)網(wǎng)絡(luò)。用MNIST數(shù)據(jù)集對這三類分類器進(jìn)行測試，結(jié)果如表1所示。

表1 淺層模型各分類器的識別效果

由表1可知，用二值點(diǎn)陣信息作特征時(shí)，knn的準(zhǔn)確率為96.65%，比bp神經(jīng)網(wǎng)絡(luò)和softmax要高4個(gè)百分點(diǎn)左右，但總體來看，還是沒有達(dá)到很高的準(zhǔn)確率要求。

對于淺層模型來說，字符特征的選擇和提取是構(gòu)成識別系統(tǒng)的關(guān)鍵。根據(jù)文獻(xiàn)［5］，采用了其中的5類人工提取的字符特征分別對MNIST數(shù)據(jù)集進(jìn)行測試。這5類特征分別是粗網(wǎng)格、七段特征投影、寬高比、端點(diǎn)以及穿線數(shù)，識別結(jié)果如表2所示。

由表2可知，不同的字符特征對識別效果影響很大，而且特征的線性疊加并沒有對識別率有顯著提高。

表2 各人工選取特征的識別效果

4.2 堆疊稀疏自動編碼器

利用深度學(xué)習(xí)中的堆疊稀疏編碼器網(wǎng)絡(luò)對MINST數(shù)據(jù)集進(jìn)行訓(xùn)練，并分類。

從表1、表2和表3的對比中可以看出，對MNIST手寫體字庫進(jìn)行測試時(shí)，確實(shí)深層模型的識別率要比淺層模型有明顯提高，微調(diào)過后的堆疊稀疏自動編碼器網(wǎng)絡(luò)的識別率可以達(dá)到98%。

表3 迭代次數(shù)對準(zhǔn)確率的影響

此外深層模型未微調(diào)之前大概只有88.77%左右的準(zhǔn)確率，微調(diào)后，增加了近10個(gè)百分點(diǎn)的準(zhǔn)確率，而且隨著迭代次數(shù)的增大而增大，所以微調(diào)對深度模型的準(zhǔn)確率提高還是很重要的。這一點(diǎn)可以從圖3中很清楚的看出來，第一層權(quán)值示意圖中，迭代100次比迭代10次的數(shù)字筆畫特征更清晰，更明顯。

5 結(jié)束語

采用了堆疊稀疏編碼器這一深度學(xué)習(xí)模型對手寫體數(shù)字的分類問題進(jìn)行研究，并在MNIST數(shù)據(jù)集上進(jìn)行測試。與KNN，BP等淺層算法進(jìn)行對比，得出深度學(xué)習(xí)在特征學(xué)習(xí)上具有自己的優(yōu)勢，并發(fā)現(xiàn)微調(diào)對準(zhǔn)確率提高還是很重要的。

然而未能深入研究網(wǎng)絡(luò)層數(shù)對特征學(xué)習(xí)的影響。對于網(wǎng)絡(luò)訓(xùn)練而言，通常情況下訓(xùn)練數(shù)據(jù)越多，最終學(xué)到的特征將會更具魯棒性。此外任何分類器的錯(cuò)分都無法徹底消除，只能不斷提高分類效果，可采用集成分類器的思想。接下來將對這些問題進(jìn)行深入研究。

圖3 不同迭代次數(shù)的權(quán)值示意圖

［1］ Alkhateeb JH，Khelifi F，Jiang J，et al.A new approach for off－line handwritten Arabic word recognition using KNN classifier［C］.//Signal and Image Processing Applications（ICSIPA），2009 IEEE International Conference on.IEEE，2009：191－194.

［2］ Lee Y.Handwritten digit recognition using k nearestneighbor，radial－basis function，and back propagation neural networks［J］.Neural computation，1991，3（3）：440－449.

［3］ Gorgevik D，Cakmakov D.Handwritten digit recognition by combining SVM classifiers［C］.//Computer as a Tool，2005.EUROCON 2005.The International Conference on.IEEE，2005，2：1393－1396.

［4］ Dolenko B K，Card H C.Handwritten digit feature extraction and classification using neural networks［C］.//Electrical and Computer Engineering，1993.Canadian Conference on.IEEE，1993：88－91.

［5］ 杜敏，趙全友.基于動態(tài)權(quán)值集成的手寫數(shù)字識別方法［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46（27）：182－184.

［6］ Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets［J］.Neural computation，2006，18（7）：1527－1554.

［7］ Baldi P.Autoencoders，Unsupervised Learning，and Deep Architectures［J］.Journal of Machine Learning Research－Proceedings Track，2012，27：37－50.

［8］ Glüge S，B？ck R，Wendemuth A.Auto－Encoder Pre－Training of Segmented－Memory Recurrent Neural Networks［J］.//Proceedings of the 21st European Symposium on Artificial Neural Networks，Computational Intelligence and Machine Learning（ESANN 2013）.Bruges（Belgium）.April 24－26，2013：29－34.

［9］ Larochelle H，Erhan D，Vincent P.Deep learning using robust interdependent codes［C］.//International Conference on Artificial Intelligence and Statistics.2009：312－319.

［10］ Jaitly N，Hinton G E.Using an autoencoder with deformable templates to discover features for automated speech recognition［C］.//The 14th annual conference of the International Speech Communication Association.Lyon.August2013：25－29.

Handw ritten Digital Classification Based on the Stacked Sparse Autoencoders

Lin Shaofei，Sheng Huixing，Li Qingwu
（College of Internet of Things Engineering，Hohai University，Changzhou 213022，China）

In this paper，the sparse autoencoders（Sparse Autoencoder，SAE）model is applied to the digital recognition，and a deep network is constructed by stacking a plurality of sparse autoencoders，using Greedy Layer－Wise Unsupervised Learning algorithm to initialize the weights of the network and back propagation algorithm to optimize the parameters of the network.The stacked sparse autoencoders are used to learn the features of the digital image，and the softmax classifier is used to conduct the digital classification.The experiments show that，comparing with other shallow learning models，the deep network not only studies the high－level features of the data，but also reduces the feature dimension and improves the precision of the classifier，which finally improves the classification effect of handwritten digits.

Stacked Sparse Autoencoder；Greedy Layer－Wise Unsupervised Learning Algorithm；Back Propagation Algorithm；Softmax classifier

10.3969/j.issn.1002－2279.2015.01.014

TP391

A

1002－2279（2015）01－0047－05

林少飛（1990－），男，安徽六安人，碩士研究生，主研方向：信息獲取與處理。

2014－09－01