李丹　沈夏炯　張海香　朱永強(qiáng)

摘 要： 在當(dāng)前語音識(shí)別和圖像識(shí)別領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)取得了很大的成功?，F(xiàn)有的Lenet-5卷積神經(jīng)網(wǎng)絡(luò)是多層網(wǎng)絡(luò)結(jié)構(gòu)，但是大量實(shí)驗(yàn)表明，從全鏈接層到輸入層的回調(diào)影響了最終的精度，特別是在有限數(shù)據(jù)量的情況下。因此提出了單層回調(diào)的Lenet-5算法，即在Lenet-5卷積神經(jīng)網(wǎng)絡(luò)的卷積層后添加一個(gè)臨時(shí)輸出層，與真實(shí)標(biāo)簽進(jìn)行比較，根據(jù)誤差函數(shù)對層間參數(shù)進(jìn)行回調(diào)，并用全球手寫數(shù)字MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練和測試。實(shí)驗(yàn)表明，即使在有限數(shù)據(jù)量的情況下算法的精度仍能得到提高。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò)； Lenet-5； 全鏈接； 卷積； 池化； 回調(diào)； 精度

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2016）08-04-04

Abstract： In the area of speech recognition and image recognition， convolutional neural network has achieved a great success， the structure of Lenet-5 convolutional neural network is multilayer， but a lot of experiments show that the callback from full connection layer to the input layer influences the accuracy， especially in the case of limited data sets. So， the single layer callback Lenet-5 algorithm is proposed， which adds a temporary output layer in the end of each convolutional layer， compares the output with the real labels， adjusts the parameter of each layer according to the error function， and uses the global MNIST data base to train and test. The experiment proves that the accuracy of the algorithm can be improved even in case of limited data sets.

Key words： convolutional neural network； Lenet-5； full-connection； convolution； pooling； callback； accuracy

0 引言

提高卷積神經(jīng)網(wǎng)絡(luò)的精度對于卷積神經(jīng)網(wǎng)絡(luò)[1]在實(shí)踐中的應(yīng)用有重要的意義，1962年Hubel和Wiesel通過對貓視覺皮層細(xì)胞的研究，提出了感受野[2]（receptive field）的概念， 1984年日本學(xué)者Fukushima基于感受野[3]概念提出的神經(jīng)認(rèn)知機(jī)（neocognitron）可以看作是卷積神經(jīng)網(wǎng)絡(luò)[4]的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)，也是感受野概念在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的首次應(yīng)用。Lenet-5卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，對于圖片的特征提取[5-7]有著出色的表現(xiàn)。

針對Lenet-5卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其在處理圖片的數(shù)據(jù)量方面的研究，筆者構(gòu)造出了一種新的Lenet-5卷積神經(jīng)網(wǎng)絡(luò)模型，使其同時(shí)具備單層神經(jīng)網(wǎng)絡(luò)和多層神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，考慮在較少的訓(xùn)練數(shù)據(jù)的情況下，該模型在圖片特征提取中仍然能通過層間傳遞得到優(yōu)秀的訓(xùn)練參數(shù)，特構(gòu)建出一個(gè)特征模型。

1 Lenet-5算法簡介

Lenet-5[8]算法是Y.LeCun提出的一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，它是一種特殊的多層神經(jīng)網(wǎng)絡(luò)，和其他神經(jīng)網(wǎng)絡(luò)一樣，也是通過反向傳播方式來訓(xùn)練，不同點(diǎn)是它的網(wǎng)絡(luò)結(jié)構(gòu)，其最大的特點(diǎn)就是每層間的權(quán)值共享，這讓Lenet-5在構(gòu)建網(wǎng)絡(luò)過程中減少了大量的參數(shù)，加快了學(xué)習(xí)過程，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

Lenet-5的每層由多個(gè)二維平面組成，每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成，網(wǎng)絡(luò)中包含一些簡單元和復(fù)雜元，分別標(biāo)記為S-元和C-元，S-元聚合在一起組成S-面，S-面聚合在一起組成S-層，同理C-元、C-面、C-層也存在類似關(guān)系。C層是特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部感受也相連，并提取該局部特征；S層是特征映射層，每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射為一個(gè)平面，平面上所有神經(jīng)元權(quán)值相等，特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射有位移不變性的特征。

2 Lenet-5訓(xùn)練過程

Lenet-5[9]的訓(xùn)練過程主要分為兩個(gè)部分，一是前向傳播，從訓(xùn)練集中取出一個(gè)訓(xùn)練數(shù)據(jù)（trnData， trnLabel），trnData輸入到神經(jīng)網(wǎng)絡(luò)中，經(jīng)過多次卷積和池化的傳播，得到實(shí)際輸出output_real；二是反向傳播，計(jì)算出實(shí)際標(biāo)簽reaLabel和理想標(biāo)簽trnLabel的誤差函數(shù)，反向傳播使用極小化誤差的方法，根據(jù)每層與上層間的誤差調(diào)節(jié)層間參數(shù)。

2.1 卷積

輸入數(shù)據(jù)經(jīng)過卷積得到C1層，產(chǎn)生六個(gè)特征映射圖，由一個(gè)濾波器F（x）來卷積輸入圖像，加偏置B（x），得到卷積層C1層，多個(gè)濾波器來做卷積可以得到多個(gè)Feature Map。卷積的計(jì)算過程如圖2所示。

規(guī)定卷積核大小為5*5，以輸入層與C1層為例，輸入層大小為32*32，則C1層特征圖的大小為28*28，可由28=32-5+1計(jì)算得到，C1層共六個(gè)Feature Map，由權(quán)值共享概念可得：每個(gè)Feature Map共5*5+1=26個(gè)參數(shù)，C1層共26*6=156個(gè)參數(shù)，共156*（28*28）=122304個(gè)連接，卷積過程如圖3所示。