周月鵬，盧喜利

（韶關(guān)學(xué)院 信息科學(xué)與工程學(xué)院， 廣東 韶關(guān)512005）

2012 年Hinton 通過卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）解決了ImageNet 問題并取得成功之后［1］，CNN 的應(yīng)用領(lǐng)域越來越廣，主要包括圖像識別和分類［2］、語音識別［2］、自然語言處理［3］、立體視覺匹配［4-5］等領(lǐng)域.CNN 通過模擬動(dòng)物大腦的運(yùn)行機(jī)理，實(shí)現(xiàn)對象的判斷識別過程.在CNN 模型中，神經(jīng)元的特征首先進(jìn)行卷積運(yùn)算，然后通過激活函數(shù)將神經(jīng)元的特征映射到下一層［6］，激活函數(shù)提高了CNN模型的表達(dá)能力，可以模擬復(fù)雜的數(shù)據(jù)模型.

在深度學(xué)習(xí)領(lǐng)域最初采用的激活函數(shù)包括Sigmoid 函數(shù)［7］和Tanh 函數(shù)［8］.Sigmoid 函數(shù)主要將輸入值映射到［0，1］，在特征相差不是特別大時(shí)，Sigmoid 函數(shù)效果比較好，能很好的解決二分類問題，但在反向傳播過程中容易出現(xiàn)梯度消失的情況.Tanh 函數(shù)將輸入值映射到［-1，1］，Tanh 函數(shù)在有明顯特征差異時(shí)的效果很好，但和Sigmoid 一樣，依然存在梯度消失的問題.2010 年Hinton 提出了ReLU 函數(shù)作為激活函數(shù)，有效緩解了Sigmoid 函數(shù)和Tanh 函數(shù)中存在的梯度消失問題［9］.2017 年P(guān)rajit R 等人提出了Swish 函數(shù)，和ReLU 類似，Swish 函數(shù)是無上界但有下界的，不同的是Swish 函數(shù)是光滑但非單調(diào)［10］.當(dāng)層數(shù)超過40 層時(shí)，ReLU 函數(shù)準(zhǔn)確率下降的速度比Swish 函數(shù)要快，目前在深度學(xué)習(xí)領(lǐng)域應(yīng)用最廣泛的激活函數(shù)是ReLU［10］.每個(gè)激活函數(shù)都有各自的優(yōu)點(diǎn)，不同的激活函數(shù)都有適應(yīng)的數(shù)據(jù)集，在實(shí)驗(yàn)中通過在CNN 的不同層中采用不同的激活函數(shù)，通過組合的方式實(shí)現(xiàn)對象識別準(zhǔn)確率的提高.

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN 是一種深層前饋型神經(jīng)網(wǎng)絡(luò)，最常用于圖像領(lǐng)域的監(jiān)督學(xué)習(xí)問題，比如圖像識別、計(jì)算機(jī)視覺等［11］.LeCun 于1998 年提出CNN 模型，并將該模型應(yīng)用到手寫字符的檢測中［12］.CNN 是一種局部連接、權(quán)值共享的神經(jīng)網(wǎng)絡(luò)模型，每一層都包含多個(gè)二維平面，每個(gè)平面又包含多個(gè)神經(jīng)元［13］.CNN 具有局部感知、參數(shù)共享、多卷積核、池化、稀疏性限制等優(yōu)勢［14］，被廣泛應(yīng)用在圖像識別領(lǐng)域.LeNet-5［12］是LeCun 設(shè)計(jì)的用于手寫數(shù)字識別的CNN，LeNet-5 包括卷積層、下采樣層、全連接層3 部分，該系統(tǒng)在小規(guī)模手寫數(shù)字識別中取得了較好的結(jié)果.

CNN 的基本結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層［15］.和全連接神經(jīng)網(wǎng)絡(luò)相比，CNN是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò).CNN 權(quán)值共享的特性減少了網(wǎng)絡(luò)中參數(shù)的個(gè)數(shù)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量，緩解模型訓(xùn)練過程中的過擬合現(xiàn)象，減少參數(shù)同樣可以減少在運(yùn)算過程中占用的內(nèi)存量［16］.

CNN 本質(zhì)上是輸入到輸出的一種非線性映射，它不需要輸入和輸出之間精確的數(shù)學(xué)表達(dá)關(guān)系和嚴(yán)格的推導(dǎo)過程，卻能夠有效地反映輸入和輸出的非線性關(guān)系，這也是判別模型是否合適的重要依據(jù)［3］.2014 年CNN 有了很大的改進(jìn)，深度學(xué)習(xí)技術(shù)也在這一年快速成長.隨著CNN 網(wǎng)絡(luò)層數(shù)的增加，可以提取出圖像中的更多的高維特征，提取到的特征也更抽象［14］.其模型見圖1.

1.1.1 卷積層

卷積層首先對上一層特征進(jìn)行卷積運(yùn)算，然后通過激活函數(shù)運(yùn)算，就得到輸出特征.圖1 中C1、C3 是卷積層，每個(gè)圓圈代表一個(gè)神經(jīng)元，神經(jīng)元的運(yùn)算見圖2.

第i 層的神經(jīng)元一定與i+1 層卷積范圍內(nèi)的神經(jīng)元連接，第i 層中每個(gè)神經(jīng)元的值與對應(yīng)權(quán)重相乘后相加再加上偏置值b，f 是激活函數(shù)，通過激活函數(shù)完成輸入和輸出之間的非線性變換，即：在

其中式（1）中ω 是每一個(gè)卷積層和上一層之間每個(gè)連接上的權(quán)值，x 是每個(gè)卷積層輸入的神經(jīng)元的值，b是偏置值.通過激活函數(shù)運(yùn)算后，得到下一層對應(yīng)神經(jīng)元的值.式（2）中f 是激活函數(shù)，使得輸入值通過非線性變換后接近目標(biāo)值.隨著層數(shù)的增加，非線性變換的次數(shù)增加，可使模型逼近任何非線性函數(shù)，更好的擬合其它的非線性模型.

圖1 CNN 模型

圖2 神經(jīng)元的運(yùn)算

1.1.2 池化層

圖1 中S1、S3 為池化層. 池化層的作用是降低卷積結(jié)果的分辨率來獲得具有空間不變性的特征［17］，同時(shí)池化層可以實(shí)現(xiàn)特征的二次提取，它的每個(gè)神經(jīng)元通過對局部接受域進(jìn)行池化操作［15］.池化操作包括最大池化、平均池化、最小池化，池化的主要優(yōu)點(diǎn)在于可以實(shí)現(xiàn)圖像變換不變性、特征表達(dá)的緊湊性、對噪聲和擾亂的魯棒性以及擴(kuò)大局部感受野［18］.

1.1.3 全連接層

圖1 中F1 為全連接層，全連接層將池化運(yùn)算之后的特征拼接為一維特征作為輸出層的輸入，全連接層神經(jīng)元的值通過對輸入加權(quán)求和，并通過激活函數(shù)的運(yùn)算得到［19］.

1.2 激活函數(shù)

激活函數(shù)為CNN 引入非線性變換，通過非線性變換提高網(wǎng)絡(luò)的表達(dá)能力，影響了神經(jīng)網(wǎng)絡(luò)的收斂速度［20］.在傳統(tǒng)的CNN 中，激活函數(shù)一般使用飽和非線性函數(shù)，如Sigmoid 函數(shù)和Tanh 函數(shù)，和飽和非線性函數(shù)相比，不飽和非線性函數(shù)可以解決梯度爆炸和梯度消失問題，同時(shí)可以加快收斂速度，使得模型在訓(xùn)練 過 程 中 更 穩(wěn) 定［20］.

激活函數(shù)主要包括：Sigmoid、Tanh、ReLU［22］、Maxout［21］、Softplus 和Swish［10］，以及ReLU 的變形Leakly ReLU、Parametric ReLU、Randomized ReLU、ELU 等，本文采用比較常用的5 個(gè)激活函數(shù)，Sigmoid、Tanh、Re-LU、Softplus 和Swish 進(jìn)行組合實(shí)驗(yàn).

1.3 Dropout 方法

過擬合（over-fitting）［23］是指模型在訓(xùn)練過程中參數(shù)過度擬合訓(xùn)練數(shù)據(jù)集，而對訓(xùn)練集之外的測試集效果不好，影響模型在測試數(shù)據(jù)集上的泛化性能的現(xiàn)象［24］.Hinton 等［25］提出的Dropout 方法，在訓(xùn)練過程中根據(jù)設(shè)定比例隨機(jī)忽略一些節(jié)點(diǎn)的響應(yīng)，這些節(jié)點(diǎn)不參加CNN 的前向傳播過程，也不參加后向傳播過程［26］，減輕了傳統(tǒng)全連接神經(jīng)網(wǎng)絡(luò)的過擬合問題，有效地提高了網(wǎng)絡(luò)的泛化性能［24］.目前CNN 的研究大都采用ReLU+ Dropout 方法，并取得了很好的分類性能［27］，在實(shí)驗(yàn)過程中采用了Dropout 方法.

2 組合激活函數(shù)模型

2.1 算法模型

在經(jīng)典的CNN 模型中，調(diào)整每個(gè)卷積層使用的激活函數(shù)，運(yùn)算結(jié)果作為下一層神經(jīng)元的值.在CNN中，模型層數(shù)不同，采用數(shù)據(jù)集不同，取得最好測試準(zhǔn)確率的組合方式也不相同.其中4 個(gè)卷積層和1 個(gè)全連接層的組合函數(shù)模型見圖3.

圖3 組合不同激活函數(shù)的CNN 模型

圖3 中包含5 個(gè)使用激活函數(shù)的層 （池化層在圖中沒有標(biāo)出），5 個(gè)激活函數(shù)可以從Sigmoid、ReLU、Tanh、Softplus 和Swish 中進(jìn)行選擇、組合，通過實(shí)驗(yàn)發(fā)現(xiàn)取得最高準(zhǔn)確率的組合模式，在系統(tǒng)投入使用時(shí)針對不同的數(shù)據(jù)集進(jìn)行不同的設(shè)置.

2.2 實(shí)現(xiàn)方法

實(shí)驗(yàn)過程中，根據(jù)各個(gè)激活函數(shù)的不同特點(diǎn)，筆者在實(shí)驗(yàn)過程中選用的激活函數(shù)包括：Sigmoid、Re-LU、Tanh、Softplus 和Swish，分別進(jìn)行組合，圖3 模型中共包含3 125 種組合方式，隨著層數(shù)的增多，組合的結(jié)果會(huì)越來越多. 在針對兩個(gè)數(shù)據(jù)集的測試中，MNIST 數(shù)據(jù)集采用C2_F1 （兩個(gè)卷積層和兩個(gè)全連接層）、C3_F1 和C4_F1 的3 個(gè)模型進(jìn)行實(shí)驗(yàn).CIFAR-10 數(shù)據(jù)集的采用C1_F2、C2_F2、C3_F2 和C4_F2 的4個(gè)模型進(jìn)行實(shí)驗(yàn).

2.3 實(shí)驗(yàn)參數(shù)設(shè)置

數(shù)據(jù)集MNIST 采用的網(wǎng)絡(luò)模型輸入層是28×28 的手寫字體圖像，卷積層都采用3×3 的卷積核，卷積步長為1，第一個(gè)卷積層通道數(shù)是32，第二個(gè)卷積層通道數(shù)64，第三個(gè)卷積層通道數(shù)128；模型中ActFun采用1.2 中提到的5 個(gè)激活函數(shù)中的任意一個(gè)；池化層采用最大池化，池化層窗口大小是3×3，步長為1；每個(gè)池化層之后都使用dropout 進(jìn)行處理，keep_prob 值為0.7，即30%的神經(jīng)元節(jié)點(diǎn)在前向傳播和反向傳播過程中不參與訓(xùn)練過程的運(yùn)算，但測試過程中所有的神經(jīng)元都要參與運(yùn)算，即keep_prob 值為1；全連接層中所有的神經(jīng)元都和下一層的神經(jīng)元相連接，兩個(gè)全連接層的神經(jīng)元個(gè)數(shù)設(shè)置為625；最后是輸出層，通過歸一化函數(shù)Softmax 完成模型的運(yùn)算輸出；模型中l(wèi)earning_rate 值為0.001，training_epochs 值為15，batch_size 值為100，具體模型見圖4.

數(shù)據(jù)集CIFAR-10 采用的網(wǎng)絡(luò)模型輸入層是經(jīng)過處理后的24×24 的圖像，卷積層都采用5×5 的卷積核，卷積步長為1，3 個(gè)卷積層的通道數(shù)都是64；模型中ActFun 也采用1.2 中提到的5 個(gè)激活函數(shù)中的任意一個(gè)；池化層采用最大池化，池化層窗口大小是3×3，步長為2；全連接層中所有的神經(jīng)元都和下一層的神經(jīng)元相連接，第一個(gè)全連接層的神經(jīng)元個(gè)數(shù)設(shè)置為384，第二個(gè)全連接層的神經(jīng)元個(gè)數(shù)設(shè)置為192；最后通過歸一化函數(shù)Softmax 完成模型的運(yùn)算輸出；模型中l(wèi)earning_rate 值為0.1，training_epochs 值為350，batch_size 值為128.具體模型見圖5.

圖4 數(shù)據(jù)集MNIST 采用的模型

圖5 數(shù)據(jù)集CIFAR-10 采用的模型

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

組合激活函數(shù)模型在MNIST、CIFAR-10 兩個(gè)數(shù)據(jù)集上完成測試.

MNIST 數(shù)據(jù)集是包含0~9 十個(gè)手寫數(shù)字組成的數(shù)據(jù)集，通常用于訓(xùn)練各種圖像處理系統(tǒng)［29］，該數(shù)據(jù)集共分為10 類，包含60 000 張訓(xùn)練圖像和10 000 張測試圖像，每個(gè)圖像大小為28×28 像素.

CIFAR-10 數(shù)據(jù)集分為10 類，每一類有6 000 張彩色圖像組成，其中包含50 000 張訓(xùn)練圖像和10 000張測試圖像，所有圖像大小都是32×32 像素.在訓(xùn)練和測試過程中，通過對圖片的處理，輸入圖片大小為24×24 像素.

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 MNIST 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

針對MNIST 數(shù)據(jù)集的測試中，分別采用C2F1、C3F1 和C4F13 個(gè)模型進(jìn)行測試.單一激活函數(shù)的準(zhǔn)確率見表1.C2F1、C3F1 和C4F1 的3 個(gè)模型準(zhǔn)確率前5 的組合方式分別見表2，表3，表4.

表1 單一激活函數(shù)在不同模型的識別準(zhǔn)確率 %

表2 模型C2F1 中激活函數(shù)組合識別準(zhǔn)確率前5 的組合方式

表3 模型C3F1 中激活函數(shù)組合識別準(zhǔn)確率 前5 的組合方式

表4 模型C4F1 中激活函數(shù)組合識別準(zhǔn)確率前5 的組合方式

從表1~表4 的實(shí)驗(yàn)數(shù)據(jù)可知，3 個(gè)模型中組合的激活函數(shù)比單一的激活函數(shù)能取得更好的識別準(zhǔn)確率. 針對MNIST 數(shù)據(jù)集，3 個(gè)模型中最好的是4 個(gè)卷積層和1 個(gè)全連接層，4 個(gè)卷積層全部采用ReLU 作為激活函數(shù)，全連接層采用Swish 作為激活函數(shù)，識別的準(zhǔn)確率達(dá)到99.48%.

3.2.2 CIFAR-10 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

針對CIFAR-10 數(shù)據(jù)集的測試中，分別采用C1F2、C2F2、C3F2 和C4F2 的4 個(gè)模型進(jìn)行測試.單一激活函數(shù)的準(zhǔn)確率見表5.C1F2、C2F2、C3F2 和C4F2 的4 個(gè)模型準(zhǔn)確率前5 的激活函數(shù)組合方式分別見表6~表9.

表5 單一激活函數(shù)在不同模型的識別準(zhǔn)確率 %

表6 模型C1F2 中激活函數(shù)組合識別準(zhǔn)確率前5 的組合方式

表7 模型C2F2 中激活函數(shù)組合識別準(zhǔn)確率 前5 的組合方式

表8 模型C3F2 中激活函數(shù)組合識別準(zhǔn)確率前5 的組合方式

表9 模型C4F2 中激活函數(shù)組合識別準(zhǔn)確率前5 的組合方式

從表5~表9 的實(shí)驗(yàn)數(shù)據(jù)可知，除了C1F2 模型之外，其它3 個(gè)模型中組合的激活函數(shù)比單一的激活函數(shù)能取得更好的識別準(zhǔn)確率.針對CIFAR-10 數(shù)據(jù)集，最好的模型是兩個(gè)卷積層和兩個(gè)全連接層，兩個(gè)卷積層分別采用ReLU 和Softplus 作為激活函數(shù)， 兩個(gè)全連接層分別采用Softplus 和ReLU 作為激活函數(shù)，識別的準(zhǔn)確率達(dá)到86.74%.

4 結(jié)語

通過組合不同激活函數(shù)的實(shí)驗(yàn)可以發(fā)現(xiàn)，在MNIST 和CIFAR-10 數(shù)據(jù)集的圖像識別過程中，采用組合激活函數(shù)的模型可以比采用單一激活函數(shù)取得更好的識別準(zhǔn)確率.MINST 數(shù)據(jù)集中， 模型選用4 個(gè)卷積層和1 個(gè)全連接層，4 個(gè)卷積層全部采用ReLU 作為激活函數(shù)，全連接層采用Swish 作為激活函數(shù)；CIFAR-10 數(shù)據(jù)集中，模型選用兩個(gè)卷積層和兩個(gè)全連接層，兩個(gè)卷積層分別采用ReLU 和Softplus 作為激活函數(shù)，兩個(gè)全連接層分別采用Softplus 和ReLU 作為激活函數(shù).通過實(shí)驗(yàn)數(shù)據(jù)可知，組合模型中，激活函數(shù)ReLU 使用最多，也證明的ReLU 函數(shù)具有更好的通用性.