呂 伏 劉 鐵

1(遼寧工程技術大學基礎教學部 遼寧 葫蘆島 125105)2(遼寧工程技術大學軟件學院 遼寧 葫蘆島 125105)

0 引 言

深度學習(Deep Learning)[1]作為統(tǒng)計機器學習(Statistical Machine Learning)的重要分支，是目前人工智能領域備受關注的研究熱點。卷積神經(jīng)網(wǎng)絡作為深度學習的重要推動力，近年來取得了重大的突破，在計算機視覺、自然語言處理和遙感圖像理解等領域有出色的表現(xiàn)，被廣泛地應用。

Hinton等[2]提出深度置信網(wǎng)絡(DBN)，它是含多隱藏層、多感知器的一種網(wǎng)絡結構，DBN強大的特征提取能力和“逐層初始化”特有的訓練模式，有效地降低了Deep Learning模型的訓練難度。與淺層學習模型相比，Deep Learning模型有更深的網(wǎng)絡層次，通過構建復雜的非線性網(wǎng)絡模型，對輸入數(shù)據(jù)的特征進行分層學習，實現(xiàn)圖像特征的有效提取，最后把低層學習到的特征組合為高層抽象的圖像特征，完成對輸入數(shù)據(jù)的分類識別。

深度置信網(wǎng)絡的提出是深度學習發(fā)展史上的一個里程碑，從此，深度學習快速發(fā)展，并被應用到眾多領域中。在圖像識別過程中，為了解決特征提取困難、無法滿足實時性要求等問題，Liu等[3]通過構建自適應增強模型，針對分類誤差進行有目的的訓練，實現(xiàn)了卷積神經(jīng)網(wǎng)絡模型的優(yōu)化調整和分類特征的自適應增強，并且網(wǎng)絡的收斂性能和識別精度有較大的提高。Liu等[4]提出一種結合無監(jiān)督和有監(jiān)督學習的網(wǎng)絡權值預訓練方法，實驗驗證該算法在解決訓練過程中易收斂于局部最優(yōu)值的問題上優(yōu)于現(xiàn)有算法。Gao等[5]在卷積神經(jīng)網(wǎng)絡模型AlexNet[6]的基礎上，提出了對數(shù)據(jù)集采用數(shù)據(jù)增強等預處理方法。實驗結果表明，識別準確率和識別速度有一定的提升。Song等[7]提出基于深度神經(jīng)網(wǎng)絡模型的手寫體圖像識別方法，讓機器自動學習特征，并在此基礎之上改進成本函數(shù)，加入Dropout[8]防止過擬合，實驗結果表明，該方法對手寫體數(shù)字的識別有更加快速準確的識別效果，在識別準確率和實時性方面均有提高。He等[9]在漢字識別過程中結合卷積神經(jīng)網(wǎng)絡，取得了較好的識別效果并降低了訓練時間。Chen等[10]提出的手寫體數(shù)字識別模型，有較好的識別精度，模型的識別能力甚至超過了人類的識別能力。但是目前深度學習模型仍然具有收斂速度慢、識別精度不高、泛化性不足等問題。

學習率是一個非常重要的模型訓練超參數(shù)，決定了迭代的步長。學習率過大會使代價函數(shù)直接越過全局最優(yōu)點，使最優(yōu)解在極值點附近來回震蕩；學習率過小會使代價函數(shù)的變化速度很慢，增加網(wǎng)絡模型收斂的復雜度，并很容易使最優(yōu)解收斂于局部最小值?，F(xiàn)有的神經(jīng)網(wǎng)絡模型，學習率一般是隨著迭代次數(shù)進行衰減，這對神經(jīng)網(wǎng)絡模型的收斂速度和識別精度有很大的影響。因此在網(wǎng)絡模型的訓練過程中動態(tài)調整學習率就顯得非常重要。

受文獻[11]的啟發(fā)，為了進一步提高深度卷積神經(jīng)網(wǎng)絡的收斂速度、識別精度以及網(wǎng)絡模型的泛化能力，本文通過研究深度卷積神經(jīng)網(wǎng)絡訓練過程中學習率的變化情況，提出一種學習率自增強算法，在網(wǎng)絡訓練初期，用大于1的常數(shù)自增強學習率，加快網(wǎng)絡模型向極值點的逼近速度。隨著訓練的進行，根據(jù)網(wǎng)絡模型代價函數(shù)的相對變化率，調整網(wǎng)絡模型的學習率。實驗表明，該方法可以有效地提高網(wǎng)絡模型的收斂速度，并使最優(yōu)解在極值點附近的震蕩程度得到極大緩解。

1 相關工作

深度卷積神經(jīng)網(wǎng)絡是一種特殊的多層神經(jīng)網(wǎng)絡模型，在圖像處理領域有著廣泛的應用，深度卷積神經(jīng)網(wǎng)絡是受動物視覺神經(jīng)系統(tǒng)的啟發(fā)，用卷積層模擬對特定圖案的響應，池化層用來模擬動物視覺皮層的感受野，一般由輸入層、隱藏層和輸出層組成，如圖1所示。輸入層是未經(jīng)任何處理的二維原始圖像，隱藏層通常為卷積層和池化層的重復結構，輸出層是對特征進行分類和識別的結果，其中特征提取和分類是在隱層中進行的。深度卷積神經(jīng)網(wǎng)絡對圖像的分類識別主要包括兩個過程，即前向過程和反向過程。前向過程包括特征提取和分類，計算各個神經(jīng)元的激勵值和損失值，而反向傳播主要是權值更新的過程。前向傳播過程會產(chǎn)生分類誤差，反向過程通過把前向傳播產(chǎn)生的誤差反饋到網(wǎng)絡模型中從而實現(xiàn)對權值和偏置的更新。

圖1 卷積神經(jīng)網(wǎng)絡結構

設卷積層的第i個輸入數(shù)據(jù)為Ii，卷積核為Wi，各有n個，偏置為Bi，激活函數(shù)為f，則卷積層輸出特征的計算表達式為：

(1)

式中：con為卷積函數(shù)；Fc為卷積層輸出的特征。

下采樣操作是對卷積輸出的特征做進一步的降維處理，并把對應輸出輸入到全連接層，全連接層經(jīng)過權值變換和激活后得到本輪的分類結果，通過與分類真值比較，得到對應的分類誤差。設全連接層的輸入特征為T，對應的權值為W，偏置為B，激活函數(shù)為f，則全連接層進行分類的表達式為：

F0=f(W*T+B)

(2)

式中：F0為分類結果矩陣。

2 學習率自增強算法

2.1 代價函數(shù)

在機器學習中，經(jīng)常選擇代價函數(shù)作為優(yōu)化的目標函數(shù)。代價函數(shù)指的是深度卷積神經(jīng)網(wǎng)絡模型的預測值和真實值之間的誤差。樣本數(shù)據(jù)集的代價函數(shù)定義為：

(3)

圖2 ReLU函數(shù)圖像

(4)

(5)

深度神經(jīng)網(wǎng)絡通過反向傳播，將分類誤差反饋到隱層中，使每層中的權值和偏置得到更新，進行下一次循環(huán)迭代時，使用最近更新后的各項參數(shù)進行網(wǎng)絡模型的訓練，通過不斷的更新迭代，使網(wǎng)絡模型中的識別率不斷提高，損失函數(shù)降至最小。設l為學習率，則網(wǎng)絡模型中的權值w和偏置b由w1和b1更新為w2和b2的表達式為：

(6)

(7)

由圖2可知，ReLU激活函數(shù)是分段線性函數(shù)，自變量為負值或0時，函數(shù)值為0，自變量為正值時，函數(shù)值保持不變，這種操作被稱為單側抑制。在深度卷積神經(jīng)網(wǎng)絡模型中，由于梯度下降算法鏈式求導法則的乘法特性，存在梯度消失現(xiàn)象，通過使用ReLU激活函數(shù)，可有效地解決因為連乘而導致的梯度消失問題，整個過程的計算量較小，并且ReLU激活函數(shù)會使一部分神經(jīng)元的輸出為0，從而獲得網(wǎng)絡的稀疏性，減少了參數(shù)間相互依存關系，有效緩解過擬合問題的發(fā)生。但是ReLU激活函數(shù)的輸出不是以0為中心，會使一部分神經(jīng)元的輸出為0，故隨著訓練的進行，有可能出現(xiàn)神經(jīng)元“死亡”、權重無法更新的情況。因此，考慮到以上因素，本文提出學習率自增強算法，用大于1的常數(shù)自增強學習率，加快網(wǎng)絡向極值點附近的逼近速度，隨著訓練的進行，根據(jù)模型代價函數(shù)的變化情況調整學習率，使得學習率的變化對于未知的數(shù)據(jù)更加敏感，提高了模型分類識別的性能。

2.2 基于代價函數(shù)變化率的學習率自增強算法

學習率是深度卷積神經(jīng)網(wǎng)絡模型訓練過程中一個非常重要的超參數(shù)，它是梯度下降算法搜索過程的步長，對網(wǎng)絡模型的性能有著非常重要的作用。學習率過大，將導致最優(yōu)解在極值點附近來回震蕩；學習率過小，將導致模型很難收斂或使得最優(yōu)解收斂于局部最小值。因此，學習率對網(wǎng)絡模型的收斂效果有極大的影響。而在以往的實驗中，網(wǎng)絡模型的學習率大多是根據(jù)經(jīng)驗來設定，在模型訓練的整個周期中保持恒定或根據(jù)迭代次數(shù)進行衰減。在實際實驗過程中，隨著時間的推移，網(wǎng)絡模型的學習情況復雜，在各個時期有很大的差異，因此，將模型的學習率設置為單一的不變量對模型的學習性能有重要的影響。本文提出的學習率自增強算法是受自適應調整學習率算法[11-12]啟發(fā)，根據(jù)模型訓練過程中各個階段代價函數(shù)的變化情況調整學習率，相比于恒定的學習率，使用學習率自增強算法可以提升模型的性能，縮短訓練的時間。在模型訓練初期，為了加快網(wǎng)絡的收斂速度，用大于1的因子自增強學習率，加快網(wǎng)絡向極值點附近逼近的速度。隨著訓練的進行，由于模型接近收斂，因此在該階段根據(jù)代價函數(shù)的相對變化率適當?shù)脑黾踊驕p小學習率，直至網(wǎng)絡收斂或是達到設定的迭代次數(shù)。

第n個世代的學習率ln可以表示為：

(8)

(9)

式中：l0為初始學習率；α(x)為代價函數(shù)的相對變化率；J(x)、J(x-1)分別為x輪和x-1輪的代價函數(shù)；本文設置閾值0

本文提出的學習率自增強算法，根據(jù)當前網(wǎng)絡模型的訓練世代數(shù)(epoch)和代價函數(shù)的相對變化率進行適當?shù)母?，步驟如下：

Step1判斷當前訓練的世代數(shù)，若小于等于b，執(zhí)行Step 2；若大于b，則執(zhí)行Step 3。

Step2用大于1的常數(shù)自增強學習率。

Step3按式(3)計算代價函數(shù)的值，求出代價函數(shù)的相對變化率。

Step4若代價函數(shù)變化率小于0，則按ln=ln-1(1-aα(x))調整學習率;否則，按ln=ln-1(1-α(x))調整學習率。

Step5按式(6)和式(7)更新權值和偏置。

Step6當未達到設定的迭代次數(shù)時，返回Step 1繼續(xù)執(zhí)行;否則停止迭代，訓練完成。

在網(wǎng)絡訓練的前b個世代，通過大于1的常數(shù)λ自增強學習率，從b+1世代以后，判斷當前代價函數(shù)的相對變化率，如果代價函數(shù)的變化率大于0時，則根據(jù)代價函數(shù)的變化率適當?shù)臏p小學習率，當代價函數(shù)變化率小于0時，則根據(jù)初始學習率和迭代次數(shù)適當?shù)脑龃髮W習率。經(jīng)過多次參數(shù)訓練，得到公式中較優(yōu)的參數(shù)取值為λ=1.05、b=4，即在模型訓練的前4個世代用1.05的倍數(shù)自增強學習率。

3 實驗與結果分析

本文實驗是在Python環(huán)境下，采用Pytorch框架，基于AlexNet深度卷積神經(jīng)網(wǎng)絡實現(xiàn)圖像分類識別[13]，網(wǎng)絡設計5個卷積層，5個池化層，采用固定卷積核，使用最大值池化方法，所使用計算機的CPU型號為Intel(R)Core(TM)i7- 4700MQ，內存為16 GB。實驗共分為兩個部分，第一部分是在MNIST數(shù)據(jù)集[14]上對手寫數(shù)字進行識別，驗證本文算法對圖像識別能力的優(yōu)化效果；第二部分是在CIFAR-10數(shù)據(jù)集[15]上對圖像進行分類識別，驗證本文算法對一般圖像的普適性。MNIST、CIFAR-10數(shù)據(jù)集中的部分樣本如圖3所示。

(a) MNIST手寫數(shù)據(jù)集

(b) CIFAR-10數(shù)據(jù)集圖3 數(shù)據(jù)集部分樣本

根據(jù)式(8)和式(9)得到本文網(wǎng)絡模型訓練過程中代價函數(shù)和學習率的變化情況如圖4所示。

(a) 代價函數(shù)

(b) 學習率圖4 實驗結果

3.1 手寫數(shù)字數(shù)據(jù)集實驗與分析

實驗使用MNIST手寫數(shù)字數(shù)據(jù)集，對學習率自增強的AlexNet[16]神經(jīng)網(wǎng)絡模型的性能進行測試和驗證，MNIST數(shù)據(jù)集中共有7萬條數(shù)據(jù)，其中6萬條作為模型的訓練數(shù)據(jù)，1萬條作為驗證模型識別準確率的測試數(shù)據(jù)，每個樣本為28×28的灰度圖像，0到9共10類的手寫數(shù)字，在輸入神經(jīng)網(wǎng)絡模型前，將樣本進行歸一化處理。使用本文中的學習率自增強算法作為網(wǎng)絡模型的優(yōu)化算法，每批次樣本大小為256，共訓練30代。在模型訓練階段，在全連接層引入Dropout，有效地避免過擬合問題，可消除全連接層對實驗結果的影響。對結合本文算法的AlexNet網(wǎng)絡模型在MNIST數(shù)據(jù)集上進行實驗，記錄圖像分類結果的準確率情況，并繪制相應的曲線圖。隨著迭代的進行，準確率情況如圖5所示。

圖5 學習率自增強算法的識別準確率

可以看出，隨著迭代的不斷進行，學習率自增強算法的識別準確率不斷上升，到達一定程度后，準確率不在變化，網(wǎng)絡模型收斂，所以本文算法能夠更好地反映學習率自增強的網(wǎng)絡模型學習效果。

3.2 CIFAR-10數(shù)據(jù)集實驗與分析

CIFAR-10數(shù)據(jù)集是由10類32×32的彩色圖片組成，共6萬幅圖片，每一類包含6 000幅圖片。CIFAR-10數(shù)據(jù)集被劃分為5個訓練的batch，每個batch包含1萬幅圖片，測試集batch的圖片是由從每個類別中隨機挑選1 000幅圖片組成。在進行模型訓練之前，同樣需要將樣本進行歸一化處理。

相比于MNIST數(shù)據(jù)集，CIFAR-10數(shù)據(jù)集在每個類別中的差異相對較大，同時受姿態(tài)、顏色、背景等影響，在CIFAR-10數(shù)據(jù)集上的實驗難度相對較大。在CIFAR-10數(shù)據(jù)集上，K-means+SVM[17]的識別準確率達到了79.60%。各種網(wǎng)絡模型的識別準確率如表1所示。

表1 CIFAR-10數(shù)據(jù)集上各方法的識別準確率(%)

在CIFAR-10數(shù)據(jù)集上本文算法的實驗結果如圖6所示。

圖6 CIFAR-10數(shù)據(jù)集誤識率

由上述兩個實驗結果可以看出，結合本文算法的網(wǎng)絡模型在一定程度上優(yōu)于傳統(tǒng)方法，但是在CIFAR-10數(shù)據(jù)集上的效果不如更深層次的網(wǎng)絡，相比于Highway、ResNet等深層網(wǎng)絡，本文算法的識別能力有限，存在一定的差距。

4 結 語

本文提出的學習率自增強圖像識別算法，在網(wǎng)絡模型訓練階段提高了調整學習率的靈活性，在迭代初期，能加大網(wǎng)絡模型學習的步長，加快模型的收斂速度，當逼近最優(yōu)解附近時，能根據(jù)代價函數(shù)的變化動態(tài)的調整學習率，避免出現(xiàn)震蕩的情況。實驗結果表明，該方法能在更小的迭代次數(shù)下接近最優(yōu)解，有較好的收斂性，在一定程度上提高了圖像識別的準確率。

由于本文實驗的數(shù)據(jù)集為隨機選取的圖像數(shù)據(jù)，因此下一步研究工作將是如何設計更加有效的優(yōu)化方法和正則化約束，進一步提高算法的識別準確率。另外，隨著網(wǎng)絡層數(shù)的增多，模型的學習能力越強，但耗時也相對增多，因此，如何兼顧效率和時間也是未來的一個研究方向。