曲之琳，胡曉飛

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

基于改進(jìn)激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)研究

曲之琳，胡曉飛

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

卷積神經(jīng)網(wǎng)絡(luò)是對(duì)于人腦的高度抽象，它是深度學(xué)習(xí)的重要組成部分。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的研究，一方面有助于更準(zhǔn)確地進(jìn)行圖像的分類與識(shí)別，另一方面，有助于人類更真實(shí)地模擬人腦，為人工智能的發(fā)展指明了方向。分析比較了Sigmoid、Tanh、ReLu、Softplus4種激活函數(shù)的優(yōu)缺點(diǎn)。結(jié)合ReLu和Softplus兩種激活函數(shù)的優(yōu)點(diǎn)，設(shè)計(jì)并構(gòu)造了一種分段激活函數(shù)。最后，基于Theano框架和這5種激活函數(shù)，分別構(gòu)建了5種卷積神經(jīng)網(wǎng)絡(luò)，并對(duì)Cifar-10數(shù)據(jù)集進(jìn)行了分類識(shí)別。實(shí)驗(yàn)結(jié)果表明，基于改進(jìn)后的激活函數(shù)所構(gòu)造的卷積神經(jīng)網(wǎng)絡(luò)，不僅收斂速度更快，而且可以更加有效地提高分類的準(zhǔn)確率。

卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);人工智能;激活函數(shù)

0 引 言

深度學(xué)習(xí)(Deep Learning,DL)[1-2]是近年來機(jī)器學(xué)習(xí)領(lǐng)域最令人矚目的方向，它通過模仿人腦的工作機(jī)制來解釋圖像、語音和文本等數(shù)據(jù)。其概念源于人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)[3]的研究與發(fā)展。反向傳播算法(Back Propagation,BP)[4-5]的提出，使得機(jī)器學(xué)習(xí)變得不再遙不可及，并最終帶來了基于統(tǒng)計(jì)模型的機(jī)器學(xué)習(xí)研究的浪潮。

2006年，多倫多大學(xué)的教授Hinton及其學(xué)生提出了深度學(xué)習(xí)這一概念并受到了廣泛關(guān)注[6]。在2012年NIPS會(huì)議上，Google的Jeff Dean和斯坦福大學(xué)的Andrew Ng針對(duì)深度學(xué)習(xí)的CPU集群框架提出了GPU并行框架[7]。百度搭建了Paddle(Parallel asynchonous distributed deep learning)多機(jī)GPU訓(xùn)練平臺(tái)[8]。將數(shù)據(jù)分布到不同機(jī)器，通過Parameter Server協(xié)調(diào)各機(jī)器訓(xùn)練。Paddle支持?jǐn)?shù)據(jù)并行和模型并行。深度學(xué)習(xí)技術(shù)為實(shí)現(xiàn)人工智能提供了可能，包括Google、微軟、Facebook、百度、騰訊等公司都紛紛組建深度學(xué)習(xí)團(tuán)隊(duì)，在語音識(shí)別、人像識(shí)別、自動(dòng)駕駛等領(lǐng)域取得了長(zhǎng)足進(jìn)展[9]。2006年，Hinton提出的深度置信網(wǎng)(Deep Belief Networks,DBN)開啟了深度學(xué)習(xí)新紀(jì)元。在MNIST數(shù)據(jù)庫(kù)[10]上取得了98.8%的識(shí)別率。

2007年，Bengio等[10]借鑒了DBN無監(jiān)督預(yù)訓(xùn)練對(duì)優(yōu)化深度網(wǎng)絡(luò)的優(yōu)點(diǎn)，將受限玻爾茲曼機(jī)替換成自動(dòng)編碼機(jī)(Auto-Encoder,AE)，進(jìn)行無監(jiān)督訓(xùn)練多個(gè)AE，然后再級(jí)聯(lián)起來形成深度結(jié)構(gòu)。這種新型的深度結(jié)構(gòu)被稱為層疊自動(dòng)編碼機(jī)(Stacked Auto-Encoders,SAE)。早在1980年，F(xiàn)ukushima提出了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的概念[11]。1998年Lecun等對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了進(jìn)一步的實(shí)現(xiàn)和優(yōu)化[12]。2003年Simard等對(duì)其進(jìn)行了簡(jiǎn)化[13]。上面介紹的三種典型的深度學(xué)習(xí)模型分別來自于不同的團(tuán)隊(duì)，DBN來自于多倫多大學(xué)的Hinton團(tuán)隊(duì)[14]，SAE來自于蒙特利爾大學(xué)的Bengio團(tuán)隊(duì)[15]，CNN來自于紐約大學(xué)的Lecun團(tuán)隊(duì)[16]。由此可知，基于深度卷積神經(jīng)網(wǎng)絡(luò)圖像分類系統(tǒng)的使用越來越廣泛，卷積神經(jīng)網(wǎng)絡(luò)的研究工作一直受到研究者的高度重視。但其中一些令人頭痛的問題仍沒有較好的解決方案。例如，深度學(xué)習(xí)模型本身比較復(fù)雜，實(shí)現(xiàn)起來有一定的難度；深度模型的訓(xùn)練算法決定了模型容易梯度彌散，模型也不容易收斂，需要耗費(fèi)大量時(shí)間進(jìn)行調(diào)試；還沒有形成完整的通用理論，所以設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練模型需要掌握很多實(shí)用技巧并需要不斷探索最佳的參數(shù)和優(yōu)化算法等。

為解決模型梯度彌散，分析了激活函數(shù)ReLu、Softplus的優(yōu)點(diǎn)和缺陷，并且基于ReLu和Softplus構(gòu)造了一種分段函數(shù)作為激勵(lì)函數(shù)。通過設(shè)計(jì)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，在公開的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分析各種神經(jīng)元激勵(lì)函數(shù)對(duì)網(wǎng)絡(luò)收斂速度和圖像識(shí)別準(zhǔn)確率的影響。

1 神經(jīng)網(wǎng)絡(luò)激活函數(shù)的作用

激活函數(shù)是指如何把“激活的神經(jīng)元的特征”通過非線性函數(shù)保留并映射出來，這就是神經(jīng)網(wǎng)絡(luò)能解決非線性問題的關(guān)鍵所在。當(dāng)激活函數(shù)為線性時(shí)，線性方程的線性組合也只有線性表達(dá)的能力，就算網(wǎng)絡(luò)有多層，也只相當(dāng)于有一個(gè)隱藏層的線性網(wǎng)絡(luò)。這種輸入的線性表示網(wǎng)絡(luò)，還只相當(dāng)于多層感知機(jī)。這樣也就根本無法用非線性來逼近任意函數(shù)。由于性能遠(yuǎn)未達(dá)到要求，所以嘗試使用非線性的組合。使用激活函數(shù)增加了神經(jīng)網(wǎng)絡(luò)模型的非線性，使得深度神經(jīng)網(wǎng)絡(luò)真正具有了意義。同時(shí)傳統(tǒng)的激活函數(shù)會(huì)把輸入值歸約到一個(gè)區(qū)間內(nèi)，因?yàn)楫?dāng)激活函數(shù)的輸出值有限時(shí)，基于梯度的優(yōu)化方法會(huì)更加穩(wěn)定。新型的腦神經(jīng)稀疏激活函數(shù)具有高效的訓(xùn)練效率，不過在這種情況下，一般需要更小的學(xué)習(xí)率。

2 經(jīng)典的激活函數(shù)

2.1 Sigmoid

Sigmoid是一種常用的S型非線性激活函數(shù)。其功能是把一個(gè)實(shí)數(shù)壓縮至0到1之間，對(duì)中部區(qū)的信號(hào)增益較大，對(duì)兩側(cè)區(qū)的信號(hào)增益較小。它的輸出有界，為神經(jīng)網(wǎng)絡(luò)帶來了非線性，曾一度作為深度學(xué)習(xí)的激活函數(shù)而廣泛使用。數(shù)學(xué)形式為：f(x)=1/(1+e-x)。

雖然Sigmoid的函數(shù)性質(zhì)和神經(jīng)學(xué)的神經(jīng)元的突觸一致，而且便于求導(dǎo)，但現(xiàn)在Sigmoid卻很少使用。原因是它存在一個(gè)巨大的缺陷：對(duì)于深層網(wǎng)絡(luò)，Sigmoid函數(shù)反向傳播時(shí)，很容易出現(xiàn)梯度彌散的情況，在輸入特別大或者特別小的地方即Sigmoid接近飽和區(qū)時(shí)，導(dǎo)數(shù)趨于零，從而無法完成深層網(wǎng)絡(luò)的訓(xùn)練。另外一個(gè)缺點(diǎn)就是其輸出是非0均值的。非0均值產(chǎn)生的不利結(jié)果就是直接影響梯度下降。比如當(dāng)輸入是正的，反向傳播計(jì)算出的梯度也會(huì)始終是正的。

2.2 Tanh

Tanh函數(shù)也是一種常用的S型非線性激活函數(shù)，是Sigmoid的變種。其功能是把一個(gè)實(shí)數(shù)壓縮至-1到+1之間，對(duì)中部區(qū)的信號(hào)增益較大，對(duì)兩側(cè)區(qū)的信號(hào)增益較小。它的輸出有界，為神經(jīng)網(wǎng)絡(luò)帶來了非線性。數(shù)學(xué)形式為：f(x)=(ex-e-x)/(ex+e-x)。同時(shí)Tanh克服了Sigmoid非0均值輸出的缺點(diǎn)，延遲了飽和期，擁有更好的容錯(cuò)能力，性能上要優(yōu)于Sigmoid。但它也存在梯度彌散的問題，這種缺點(diǎn)是致命的。這也表明不管是Sigmoid還是Tanh都存在極大的局限性。

2.3 Relu

當(dāng)前在神經(jīng)網(wǎng)絡(luò)模型中激活函數(shù)使用的趨勢(shì)就是非飽和修正線性函數(shù)。修正線性單元(Rectified Linear unit，ReLu)是這樣一個(gè)分段函數(shù)，假如輸入值小于等于零時(shí)，就強(qiáng)制使其等于0，輸入大于零時(shí)就保持原來的值不變。定義式為：f(x)=max(0,x)。ReLu這種直接地強(qiáng)制某些數(shù)據(jù)為0的做法，在一定程度上，為訓(xùn)練后的網(wǎng)絡(luò)帶來了適度的稀疏特性。它不但減少了參數(shù)之間的相互依存關(guān)系，而且緩解了過擬合問題的發(fā)生。相比較傳統(tǒng)的S型激活函數(shù)，ReLu不含除法和指數(shù)運(yùn)算，計(jì)算速度更快。由于它的分段線性的性質(zhì)，使得計(jì)算以后始終保持著分段線性。而S型激活函數(shù)，由于兩端飽和的缺點(diǎn)，容易在傳播過程中丟棄有用的特征。所以ReLu也更接近于生物神經(jīng)元激活的本質(zhì)，即更加符合神經(jīng)元信號(hào)激勵(lì)原理。

總之，由于ReLu是非飽和的，不會(huì)像Sigmoid和Tanh有梯度彌散的問題。這也導(dǎo)致傳統(tǒng)的激活函數(shù)很難完成更深層網(wǎng)絡(luò)的訓(xùn)練。在進(jìn)行反向傳播求誤差梯度時(shí)，ReLu有更大的優(yōu)勢(shì)，收斂速度很快。由于ReLu將部分神經(jīng)元的輸出置為零，這也在一定程度上造成了網(wǎng)絡(luò)的稀疏特性。

2.4 Softplus

Softplus函數(shù)也是非飽和修正線性函數(shù)，可以看作是ReLu函數(shù)的近似光滑表示。它的定義式為：f(x)=loge(1+ex)。它對(duì)全部數(shù)據(jù)進(jìn)行了非線性映射。但是Softplus并不具備很好的稀疏性。對(duì)比傳統(tǒng)的激活函數(shù)，它有單邊抑制特性，能做到有限的稀疏特性。同時(shí)它的興奮邊界也比較寬闊，能夠更好地近似生物神經(jīng)系統(tǒng)。

3 改進(jìn)的激活函數(shù)

由于ReLu是分段線性的非飽和激活函數(shù)，相比傳統(tǒng)的S型激活，具有更快的隨機(jī)梯度下降收斂速度。在深度神經(jīng)網(wǎng)絡(luò)中使用Sigmoid激活函數(shù)，必須進(jìn)行復(fù)雜的預(yù)處理才能達(dá)到ReLu相似的結(jié)果。往往ReLu只需要一個(gè)閾值就能獲得激活值，無需進(jìn)行大量繁雜的計(jì)算。

相比Softplus函數(shù)，ReLu更具稀疏性。然而，粗暴地強(qiáng)制稀疏處理，也會(huì)屏蔽很多有用的特征，導(dǎo)致模型學(xué)習(xí)的效果變差。過分的稀疏性會(huì)帶來更高的錯(cuò)誤率，減少模型的有效容量。雖然Softplus相比Sigmoid和Tanh收斂更快，效果更好，但是它不具備很好的稀疏性，同時(shí)比ReLu收斂要慢。所以結(jié)合ReLu和Softplus的優(yōu)點(diǎn)，構(gòu)造一個(gè)新的非飽和修正線性激活函數(shù)用于深度神經(jīng)網(wǎng)絡(luò)。在數(shù)據(jù)小于零時(shí)，使用Softplus函數(shù)，并將其函數(shù)曲線向下平移lge2個(gè)單位大小。在數(shù)據(jù)大于零時(shí)，使用ReLu函數(shù)。將該函數(shù)記為Relus_Softplus，其公式如下所示：f(x)=max(lge(1+ex)-lge2,x)。

函數(shù)圖如圖1所示。

圖1 改進(jìn)的激活函數(shù)

這樣做不但修正了數(shù)據(jù)的分布，而且保留了ReLu快速收斂的好處。最重要的是，一些負(fù)軸的值得以保存，使得負(fù)軸信息不至于全部丟掉。ReLu容易“死掉”的問題也得到了較好的解決。

4 基于改進(jìn)激活函數(shù)的深度學(xué)習(xí)實(shí)驗(yàn)

4.1 運(yùn)行環(huán)境以及Cifar-10數(shù)據(jù)集

在實(shí)驗(yàn)中，使用的CPU是Intel(R)Core(TM)2Duo CPU E7500@2.93 GHz 2.94 GHz，GPU是NVIDIA GTX750 Ti，操作系統(tǒng)是64位Ubuntu14.03，基于theano框架，在spyder上進(jìn)行開發(fā)與調(diào)試，同時(shí)使用了CUDA加速。

分別采用Sigmoid、Tanh、Softplus、ReLu和Relus_Softplus進(jìn)行訓(xùn)練和交叉驗(yàn)證。共進(jìn)行60次訓(xùn)練。由于激活函數(shù)不同，網(wǎng)絡(luò)的收斂時(shí)間也不同。同時(shí)應(yīng)注意，使用Sigmoid和Tanh時(shí)，學(xué)習(xí)率一般使用0.01；而當(dāng)使用修正的激活函數(shù)時(shí)，應(yīng)將學(xué)習(xí)率調(diào)低一些，一般使用0.001。

實(shí)驗(yàn)中使用Cifar-10數(shù)據(jù)集。Cifar-10數(shù)據(jù)集是一個(gè)用于普適物體圖像識(shí)別的計(jì)算機(jī)視覺數(shù)據(jù)集，如圖2所示。它包含十類物體，分別為飛機(jī)、汽車、鳥、貓、鹿、狗、青蛙、馬、輪船和卡車，每類6 000個(gè)，共60 000 個(gè)32*32的RGB彩色圖像。其中包括50 000個(gè)訓(xùn)練圖像和10 000個(gè)測(cè)試圖像。每個(gè)訓(xùn)練批次中所包含的圖像的順序是隨機(jī)的，且一些訓(xùn)練批次可能包含的某類圖像比另一類更多，但所有批次每個(gè)種類的圖像的總量是不變的。

圖2 Cifar-10數(shù)據(jù)集

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 不同激活函數(shù)的網(wǎng)絡(luò)分類正確率隨訓(xùn)練次數(shù)的變化曲線

從圖3可以看出，使用Sigmoid函數(shù)作為激活函數(shù)的識(shí)別率是最低的，僅為52.14%。不但如此，Sigmoid函數(shù)作為激活函數(shù)的網(wǎng)絡(luò)很難收斂，要耗費(fèi)大量精力對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)；使用Tanh函數(shù)作為激活函數(shù)的網(wǎng)絡(luò)較Sigmoid函數(shù)作為激活函數(shù)的網(wǎng)絡(luò)的收斂速度有了明顯提升，但是它的最高識(shí)別率僅有67.48%；使用Softplus函數(shù)作為激活函數(shù)的網(wǎng)絡(luò)雖然收斂速度不夠快，但是識(shí)別率較之前的激活函數(shù)有很大提高，最大識(shí)別率為77.43%；使用ReLu函數(shù)作為激活函數(shù)的網(wǎng)絡(luò)的識(shí)別率較高，而且網(wǎng)絡(luò)的收斂速度也較快，最大識(shí)別率為76.82%；而使用改進(jìn)的激活函數(shù)的網(wǎng)絡(luò)的識(shí)別率是最高的，最大識(shí)別率為78.59%，網(wǎng)絡(luò)收斂速度也很快。因此，相較于常見的激活函數(shù)，使用改進(jìn)后的激活函數(shù)不但可以提高網(wǎng)絡(luò)收斂速度，而且可以提高識(shí)別準(zhǔn)確率。

5 結(jié)束語

激活函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)的重要部分，可以將非線性特征映射出來，從而使卷積神經(jīng)網(wǎng)絡(luò)成為可能。針對(duì)使用反向傳播算法計(jì)算傳播梯度時(shí)可能引起梯度彌散的問題，為了有效緩解該問題，增強(qiáng)網(wǎng)絡(luò)性能，提高卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像的準(zhǔn)確率，在研究激活函數(shù)的作用并分析各種激活函數(shù)優(yōu)缺點(diǎn)的基礎(chǔ)上，提出了一種改進(jìn)的激活函數(shù)。實(shí)驗(yàn)結(jié)果表明，該函數(shù)對(duì)圖像分類結(jié)果有較好的效果，有效緩解了模型的梯度彌散問題，提高了卷積網(wǎng)絡(luò)圖像識(shí)別準(zhǔn)確率。

[1] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[C]//International conference on neural information processing systems.[s.l.]:[s.n.],2012:1097-1105.

[2] Arel I,Rose D C,Karnowski T P.Deep machine learning a new frontier in artificial intelligence research [research frontier][J].IEEE Computational Intelligence Magazine,2010,5(4):13-18.

[3] Hsu K,Gupta H V,Sorooshian S.Artificial neural network modeling of the rainfall-runoff process[J].Water Resources Research,1995,31(31):2517-2530.

[4] Rumelhart D,Hinton G E,Williams R J.Learning internal representations by error propagation[M]//Parallel distributed processing:exploration of the microstructure of cognition.USA:MIT Press,1986:318-362.

[5] Williams D,Hinton G E.Learning representations by back-propagating errors[J].Nature,1986,323(6088):533-536.

[6] Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[7] Dean J,Corrado G S,Monga R,et al.Large scale distributed deep networks[C]//Proceedings of the neural information processing systems.[s.l.]:[s.n.],2013:1223-1232.

[8] Yu K.Large-scale deep learning at Baidu[C]//International conference on information & knowledge management.[s.l.]:ACM,2013:2211-2212.

[9] Lecun Y,Jackel L D,Boser B,et al.Handwritten digit recognition:applications of neural net chips and automatic learning[J].IEEE Communications Magazine,1989,27(11):41-46.

[10] Bengio Y,Lamblin P,Popovici D,et al.Greedy layer-wise training of deep networks[C]//Advances in neural information processing systems.Cambridge,MA:MIT Press,2007:153-160.

[11] Fukushima K.Neocognitron:a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J].Biological Cybernetics,1980,36(4):193-202.

[12] Lecun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[13] Simard P Y,Steinkraus D,Platt J C.Best practices for convolutional neural networks applied to visual document analysis[C]//International conference on document analysis and recognition.[s.l.]:IEEE,2003:958.

[14] Hinton G E.Learning multiple layers of representation[J].Trends in Cognitive Sciences,2007,11(11):428-434.

[15] Bengio Y,Yao L,Alain G,et al.Generalized denoising auto-encoders as generative models[J].Advances in Neural Information Processing Systems,2013,26:899-907.

[16] Dahl J V,Koch K C,Kleinhans E,et al.Convolutional networks and applications in vision[C]//International symposium on circuits and systems.[s.l.]:IEEE,2010:253-256.

ResearchonConvolutionalNeuralNetworkBasedonImprovedActivationFunction

QU Zhi-lin，HU Xiao-fei

(School of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

Convolutional neural network is a high degree of abstraction to the human brain and an important part of deep learning.For research on it,on the one hand,it is helpful for a more accurate image classification and recognition.On the other hand,the human brain can be more truly simulated,which points out the direction for the development of artificial intelligence.First the advantages and disadvantages of four kinds of activation functions such as Sigmoid,Tanh,ReLu and Softplus are analyzed and compared.Then,combined with the advantages of ReLu and Softplus,a piecewise activation function is designed and constructed.Finally,based on Theano framework and these activation functions,five convolutional neural networks are established respectively for classification recognition on the Cifar-10 data sets.The experimental results show that the convolution neural network based on the improved activation function not only converges faster,but also improves the classification accuracy more effectively.

convolutional neural network;deep learning;artificial intelligence;activation function

TP301

A

1673-629X(2017)12-0077-04

10.3969/j.issn.1673-629X.2017.12.017

2016-05-30

2016-08-24 < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-08-01

國(guó)家自然科學(xué)基金資助項(xiàng)目(61271082)；江蘇省重點(diǎn)研發(fā)計(jì)劃(BE2015700)；江蘇省自然科學(xué)基金(BK20141432)

曲之琳(1991-)，女，碩士研究生，研究方向?yàn)閳D像處理與圖像通信；胡曉飛，副教授，研究生導(dǎo)師，研究方向?yàn)橐曨l信號(hào)編碼與處理、醫(yī)學(xué)圖像處理等。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170801.1549.004.html