林長方，黃毓珍，陳定柱，黃仲開

(1.漳州衛(wèi)生職業(yè)學院健康與保健系，福建 漳州 363000；2.福建醫(yī)科大學附屬漳州市醫(yī)院病理科，福建 漳州 363000；3.福建醫(yī)科大學附屬漳州市醫(yī)院胸心外科，福建 漳州 363000；4.漳州衛(wèi)生職業(yè)學院現(xiàn)代教育技術中心，福建 漳州 363000)

1 研究背景

近十幾年來，深度卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNNs)在圖像處理和語音識別等領域得到廣泛的應用，取得令人矚目的成績[1-3]。激活函數(shù)作為CNNs的基本單元，可有效抑制網(wǎng)絡反向傳播過程中的殘差衰減,并縮短模型訓練時間,提高收斂速度，是CNNs取得成功的主要因素[4]。常見的激活函數(shù)包含飽和非線性函數(shù)(Sigmoid、Tanh)和不飽和非線性函數(shù)(Softplus、ReLU)。飽和非線性激活函數(shù)在傳統(tǒng)神經(jīng)網(wǎng)絡中曾得到廣泛的應用，但因其不能有效地解決函數(shù)由于飽和性而產(chǎn)生的梯度消失問題而最終被舍棄[5]。不飽和非線性函數(shù)可有效抑制算法運行過程中的梯度消失問題,且網(wǎng)絡收斂速度快，是當前廣為流行的激活函數(shù)[6]。然而，修正線性單元(rectified linear unit，ReLU)可能導致網(wǎng)絡出現(xiàn)“壞死”現(xiàn)象，網(wǎng)絡非常脆弱[7]。LReLU(ReLU-Leaky)、PReLU(Parametric ReLU)[8]等ReLU變形函數(shù)因帶有稀疏性解決了ReLU的“壞死”現(xiàn)象，但它們同ReLU一樣都是對模型的線性修正，因此都存在對模型表達能力弱的缺陷。Softplus函數(shù)為ReLU的非線性表達，但不具備稀疏性[9-11]。本文分析了兩類激活函數(shù)的優(yōu)缺點，并基于Softplus和LReLU函數(shù)提出了一種新的激活函數(shù)LReLU-Softplus，該函數(shù)兼具較強的稀疏能力與表達能力，且收斂能力強,識別率高。

2 常見激活函數(shù)及特征

激活函數(shù)的主要功能是對CNNs卷積操作的非線性建模，影響模型訓練中的前向與反向傳播兩個過程。常見激活函數(shù)的公式及函數(shù)曲線如下所示。

2.1 飽和非線性函數(shù)

Sigmoid函數(shù)：f(x)=1/(1+e-x)。

Tanh函數(shù)：f(x)=(ex-e-x)/(ex+e-x)。

從Sigmoid函數(shù)表達式和圖1可發(fā)現(xiàn)，函數(shù)f(x)的值域在(0,1)間，輸入量x取值在0附近時，激活函數(shù)對信號的增益效果較明顯。但當x越來越大或越來越小時，曲線越來越平緩,斜率越趨近于0，說明函數(shù)對信號的增益趨近于0，此特性將導致在反向傳遞過程中梯度的消失，最終致使網(wǎng)絡參數(shù)難于得到有效的訓練。另外Sigmoid函數(shù)非中心原點對稱、均值偏移(即{?x,y=f(x)≥0})，將致使函數(shù)在面對較深網(wǎng)絡時訓練無法收斂。

Tanh函數(shù)為Sigmoid函數(shù)的改進函數(shù)，從圖1可見Tanh曲線以0為中心,f(x)的值域在(-1,1)間，因此，它緩解了均值偏移、訓練收斂的速度加快。但它與Sigmoid函數(shù)一樣具有軟飽和性，同樣存在梯度消失的缺陷。

圖1 飽和非線性函數(shù)曲線

圖2 不飽和非線性函數(shù)曲線

2.2 不飽和非線性函數(shù)

Softplus函數(shù)：f(x)=ln(ex+1)。

ReLU函數(shù)：f(x)=max(0,x)。

LReLU、PReLU、RReLU函數(shù)：f(x)=max(ax,x)。

圖3 LReLU、PReLU、RReLU函數(shù)曲線

圖4 LReLU-Softplus函數(shù)曲線

不飽和非線性函數(shù)已成為當前構建深度卷積神經(jīng)網(wǎng)絡首選的激活函數(shù)，從圖2、圖3可發(fā)現(xiàn)Softplus、ReLU、LReLU等均有效解決了飽和非線性函數(shù)梯度消失的問題，但從函數(shù)表達式及曲線圖可以看出它們各自都存在缺陷。ReLU及變形函數(shù)LReLU、PReLU、RReLU均為分段函數(shù)，ReLUs函數(shù)強制將輸入值x小于0的輸出結果置為0，從而使網(wǎng)絡具有稀疏表達能力，可有效緩解過擬合的發(fā)生。但稀疏性會致使模型的有效容量降低，可能產(chǎn)生“壞死”現(xiàn)象。LReLU等變形函數(shù)是對ReLU函數(shù)的變形，當輸入值x小于0時不再強制置輸出為0，而是輸出ax(a為一個很小的常數(shù))，這樣使得負激活可在CNNs中得到傳播，提高特征學習的效率。然而變形函數(shù)與ReLUs一樣存在一個缺陷，即在x大于0時只能對數(shù)據(jù)進行線性映射，所以此類激活函數(shù)對CNNs的表達能力有欠缺。Softplus函數(shù)是對ReLU函數(shù)近似光滑、非線性的表示，可對所有數(shù)據(jù)進行非線性的映射，但稀疏表達能力欠缺。

3 LReLU-Softplus激活函數(shù)

結合LReLU和Softplus函數(shù)自身的優(yōu)勢，本文提出了一種新的不飽和非線性激勵函數(shù)LReLU-Softplus，基本原理為：先將Softplus函數(shù)曲線向下平移ln2個單位，然后將輸入值x小于0的輸出置換為LReLU函數(shù)的ax，LReLU-Softplus函數(shù)公式及曲線為：

由圖3可見,LReLU-Softplus函數(shù)保留了部分負軸數(shù)據(jù)，修正了數(shù)據(jù)的分布，繼承了ReLU函數(shù)收斂速度快的優(yōu)點，同時緩解了出現(xiàn)“壞死”的概率。更重要的是實現(xiàn)了函數(shù)的非線性、光滑映射。因此，LReLU-Softplus函數(shù)兼具稀疏表達能力和廣泛、非線性映射性。

4 實驗及結果分析

為了驗證基于LReLU-Softplus函數(shù)的CNNs模型的執(zhí)行效率，本文以MNIST和CIFAR-10為實驗數(shù)據(jù)庫，將卷積層分別使用LReLU-Softplus函數(shù)和常見激活函數(shù)的CNNS模型進行對比實驗。實驗在Matlab 2014a開發(fā)工具，基于Caffe框架的CNN環(huán)境下完成。硬件配置：Intel 酷睿i7 6700@3.4GHz 四核CPU，16G DDR4 2133MHz內存，4G AMD Radeon R9 370性能級獨立顯卡；64 bit windows 10 OS。

4.1 MNIST實驗與結果分析

手寫羅馬數(shù)字數(shù)據(jù)集(MNIST)由訓練圖片(60 000幅)和測試圖片(10 000幅)構成，圖片均為28×28的灰度圖像。實驗所構建的CNNs模型架構及參數(shù)如表1所示，采樣層的池化固定采用max-pooling方法，卷積層分別采用Sigmoid、Tanh、Softplus、ReLU和LReLU-Softplus作為激活函數(shù)。對LReLU-Softplus函數(shù)中的常量a分別選取0.01、0.02、0.05、0.1、0.2、0.5、1、2八個常量進行測試，測試結果如表2所示，從表2可見a=0.1時測試取得最好的性能。選取最合適的常量a，基于不同激活函數(shù)的CNNs在MNIST上的實驗結果如表3、圖5所示。

表1 MNIST實驗CNNs架構

表2 LReLU-Softplus函數(shù)常量a測試結果

表3 不同激活函數(shù)實驗結果

圖5 不同激活函數(shù)識別正確率

觀察表3、圖5可發(fā)現(xiàn)，基于Sigmoid函數(shù)的網(wǎng)絡不僅收斂速度緩慢且識別正確率只有98.40%；Tanh函數(shù)雖能使網(wǎng)絡的收斂速度提高，但識別正確率也僅為98.51%；基于Softplus函數(shù)的網(wǎng)絡較Sigmoid、Tanh函數(shù)收斂速度有所提升，識別正確率達到98.90%；使用ReLU函數(shù)的網(wǎng)絡收斂速度進一步提高，識別正確率最高達到99.25%。而基于LReLU-Softplus函數(shù)的CNNs網(wǎng)絡識別正確率、最佳驗證誤差、最佳測試誤差分別達到99.51%、0.95%、0.86%，各項均為最佳值。

4.2 CIFAR-10實驗結果與分析

CIFAR-10數(shù)據(jù)庫由10個不同類型的彩色圖像構成，分為訓練圖片集(50 000幅)和測試圖片集(10 000幅)，圖片大小均為32×32，每個像素點包含R、G、B三個數(shù)值。本實驗利用Y=0.3R+0.59G+0.11B(Y為YUV彩色空間中的亮度)對圖像進行灰度級的轉換，然后對圖像進行ZCA白化處理，以降低圖像特征之間的相關性，并利用Matlab對圖像進行歸一化處理。實驗所構建的CNNs模型架構及參數(shù)如表4所示，采樣層池化分別采用mean-pooling、max-pooling方法，卷積層使用不同的激活函數(shù)，CNNs對CIFAR-10數(shù)據(jù)集的分類識別最佳驗證誤差和測試誤差如表5所示。

表4 CIFAR-10實驗CNNs架構

表5 CIFAR-10實驗結果

觀察表5可發(fā)現(xiàn)，不論采用最大值或平均值池化，相較于其他常見激活函數(shù)，基于LReLU-Softplus激活函數(shù)的CNNs對CIFAR-10數(shù)據(jù)集的分類識別最佳驗證誤差和最佳測試誤差均為最低。

實驗結果表明，基于LReLU-Softplus函數(shù)的卷積神經(jīng)網(wǎng)絡在MNIST和CIFAR-10數(shù)據(jù)集上均取得較其他常見激活函數(shù)更低的誤差率。其中，在MNIST數(shù)據(jù)集上的最佳驗證誤差達到0.95%；而在CIFAR-10數(shù)據(jù)集上，不論選擇哪種池化方法，最佳驗證誤差和最佳測試誤差均較其他常見激活函數(shù)降低了1%～2%。

5 結語

本文針對深度卷積神經(jīng)網(wǎng)絡卷積層中常使用的激活函數(shù)可能存在“壞死”現(xiàn)象、表達能力不足、欠缺稀疏能力或不易收斂等缺陷，設計了一種新的不飽和非線性激勵函數(shù)LReLU-Softplus。通過在MNIST和CIFAR-10數(shù)據(jù)集上的實驗表明，基于LReLU-Softplus函數(shù)的深度卷積神經(jīng)網(wǎng)絡不僅收斂速度快，而且識別效率更高,誤差率更低。