南京理工大學(xué) 金 釗

1.神經(jīng)網(wǎng)絡(luò)簡介

在1943年的一篇論文[2]中，McCulloch教授提出了最早的神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型。而Minsky[3]教授在1969年的論文中又指出此類模型只能解決線性不可分問題。隨后神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)界的研究則一直止步不前，直到Alex教授在2012年利用深度學(xué)習(xí)模型AlexNet贏得了ImageNet舉辦的圖像分類競(jìng)賽，才將深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的研究帶入了一個(gè)新的高度。

2.深度卷積神經(jīng)網(wǎng)絡(luò)

由于在線性模型中，模型輸入各項(xiàng)經(jīng)過加權(quán)處理并求和即可得到輸出值，而多層的線性網(wǎng)絡(luò)與單層的線性網(wǎng)絡(luò)在表達(dá)能力上并沒有任何區(qū)別，所以這也就限制了線性神經(jīng)網(wǎng)絡(luò)所能解決問題的能力。而現(xiàn)代神經(jīng)網(wǎng)絡(luò)常使用激活函數(shù)(ReLU, Sigmoid和Tanh)來構(gòu)建神經(jīng)元。同時(shí)為了更好的進(jìn)行大尺寸圖像處理，一般會(huì)構(gòu)建多層卷積神經(jīng)網(wǎng)絡(luò)，正如LeCun[4]教授在1998年所提出的LeNet-5模型，此類神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常包括輸入層、卷積層、池化層、全連接層和Softmax層。

Alex[1]在2012年所構(gòu)建的AlexNet(如圖1所示)則成為了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的標(biāo)桿。其模型包含了5層卷積層和3層全連接層。而自AlexNet之后，卷積神經(jīng)網(wǎng)絡(luò)又開始向兩個(gè)不同的方向發(fā)展，一個(gè)是以谷歌的Inception Net為代表的改變卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，另一個(gè)則是以VGGNet和ResNet為代表的加深神經(jīng)網(wǎng)絡(luò)的深度。本文將對(duì)后一類深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行探討與分析。

3.VGGNet深度卷積神經(jīng)網(wǎng)絡(luò)

VGGNet是由牛津大學(xué)計(jì)算機(jī)視覺組[5]在2014年ILSVRC圖像分類比賽大會(huì)上所提出的一種從11層到19層的深層卷積神經(jīng)網(wǎng)絡(luò)模型。其基本結(jié)構(gòu)與AlexNet非常相似，其擁有5段卷積，每段中又含有2-4個(gè)3*3的小型卷積核的卷積層，并且每卷積段末尾都會(huì)連接一個(gè)2*2的最大池化層，所以這樣的模型每段輸出的圖片尺寸都會(huì)縮小，而輸出的通道數(shù)則會(huì)增加。VGGNet模型的特點(diǎn)就在于重復(fù)使用了3*3的小型卷積核的堆砌結(jié)構(gòu)，因?yàn)橛扇齻€(gè)3*3卷積核串聯(lián)可以達(dá)到7*7卷積核的感受視野大小，而其包含的參數(shù)值卻能減半。所以這樣方法搭建起來神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的特征提取能力和較少的參數(shù)值。而其簡單明了的網(wǎng)絡(luò)結(jié)構(gòu)更提高了它的通用性和可拓展性。

4.VGGNet模型訓(xùn)練測(cè)試分析

在本文的神經(jīng)網(wǎng)絡(luò)模型建立和測(cè)試中，利用了谷歌的Tensorflow 1.5.0開源神經(jīng)網(wǎng)絡(luò)框架，并通過Python在Cuda 9.1和cuDNN V7.0.5的編譯環(huán)境下進(jìn)行測(cè)試。測(cè)試集則為MNIST手寫體數(shù)字識(shí)別數(shù)據(jù)集。

首先通過ReLU激活函數(shù)建立一個(gè)包含兩個(gè)卷積層的模型作為此次測(cè)試的參照模型，其兩層卷積核都為5*5，在Dropout為0.5，學(xué)習(xí)率為0.0001的條件下進(jìn)行30萬步的學(xué)習(xí)訓(xùn)練后，其識(shí)別準(zhǔn)確度可以達(dá)到98.28%。

圖1 AlexNet神經(jīng)網(wǎng)絡(luò)模型[1]

之后根據(jù)[5]論文中的模型，首先構(gòu)建了一個(gè)包含5段卷積層(后三段中都包含有1*1的卷積核，用于線性變換)和3個(gè)全連接層的16層神經(jīng)網(wǎng)絡(luò)，在用與參照模型相同的學(xué)習(xí)參數(shù)下訓(xùn)練后可以得到97.46%的準(zhǔn)確度，在減少一半的學(xué)習(xí)率后，可以使準(zhǔn)確度提高至98.15%。

再利用相似的方法構(gòu)建一個(gè)19層VGGNet卷積神經(jīng)網(wǎng)絡(luò)，但在用與參照模型相同的學(xué)習(xí)參數(shù)下訓(xùn)練時(shí)，其識(shí)別準(zhǔn)確度在隨訓(xùn)練步數(shù)增加一段時(shí)間后便又降低并保持在了20%以下。究其原因，可能是由于過高的學(xué)習(xí)率，導(dǎo)致參數(shù)更新幅度過大，導(dǎo)致其在最優(yōu)值兩側(cè)波動(dòng)過大。另外為防止過擬合而設(shè)置的Dropout rate也會(huì)影響參數(shù)值的更新。所以在利用衰減系數(shù)對(duì)學(xué)習(xí)率進(jìn)行優(yōu)化后，其最終的準(zhǔn)確度提高至98.30%。

5.ResNet深度卷積神經(jīng)網(wǎng)絡(luò)

ResNet(Residual Neural Network)是由微軟亞洲研究院的Kaiming He[6]等人在2015年ILSVRC圖像分類比賽中所提出的一種具有向前回路的極深層卷積神經(jīng)網(wǎng)絡(luò)。雖然計(jì)算機(jī)各界均認(rèn)為加深神經(jīng)網(wǎng)絡(luò)的深度可以大大提升其識(shí)別能力[7]，但在ResNet發(fā)明之前，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度會(huì)隨著其深度的增加而大幅增加，而準(zhǔn)確度卻沒能得到相應(yīng)的提升。而ResNet則通過將原始的輸入值直接傳輸?shù)胶竺娴膶又械姆椒?，減少了由過深的卷積層數(shù)所帶來的訓(xùn)練集誤差(即如上節(jié)所出現(xiàn)的，模型準(zhǔn)確度隨著層數(shù)增加先增加后減少的現(xiàn)象)。而每段神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)的目標(biāo)也從原來的輸出值變成了輸出和輸入值之間的差，即殘差值。這種方法大大簡化了模型的學(xué)習(xí)難度。

6.ResNet模型訓(xùn)練測(cè)試分析

在Tensorflow框架中可以利用collection和contrib.slim庫來快速的設(shè)計(jì)ResNet的模塊組。在本文中搭建了一個(gè)包含四個(gè)模塊的34層的ResNet神經(jīng)網(wǎng)絡(luò)模型，模塊中每層的卷積核大小都是3*3，每個(gè)block中包含有兩個(gè)卷積層，信號(hào)同時(shí)輸入給了輸入端和輸出端。在不同通道數(shù)的模塊間還有將向前信號(hào)升維的一個(gè)線性映射變換的步驟。首先利用參照模型的參數(shù)對(duì)此模型進(jìn)行訓(xùn)練，發(fā)現(xiàn)其準(zhǔn)確率在達(dá)到峰值后出現(xiàn)了下降，在改變了Dropout rate后，經(jīng)過了相同步數(shù)的訓(xùn)練后，模型的準(zhǔn)確度達(dá)到了99.06%，其原因可能是由于本測(cè)試所使用的訓(xùn)練集的圖像尺寸過小，過大的Dropout rate會(huì)使得訓(xùn)練集中圖像特征的丟失從而造成模型識(shí)別誤差。測(cè)試中，學(xué)習(xí)率的設(shè)置對(duì)此模型識(shí)別精度的提升并沒有幫助。另外隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，模型所包含的參數(shù)也在大幅增加，這直接導(dǎo)致了其訓(xùn)練時(shí)所占用的顯存空間的大幅增加。

7.VGGNet和ResNet神經(jīng)網(wǎng)絡(luò)模型對(duì)比

ResNet和之前的VGGNet模型的基礎(chǔ)結(jié)構(gòu)非常類似，都廣泛利用了多層3*3小卷積核的堆積的構(gòu)架，主要區(qū)別就在于ResNet模型還包含有了許多支路能夠?qū)⑶懊娴男盘?hào)完整的傳輸?shù)胶竺鎸又小６@項(xiàng)改進(jìn)大幅減少了整個(gè)網(wǎng)絡(luò)的訓(xùn)練時(shí)間，同時(shí)神經(jīng)網(wǎng)絡(luò)的深度從VGGNet最多的19層增加到了ResNet模型的152層。隨著網(wǎng)絡(luò)層數(shù)的增加，其特征提取和識(shí)別能力也有了顯著的提升。

本文通過在Tensor flow中的建模和實(shí)際訓(xùn)練發(fā)現(xiàn)，VGGNet神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的增加，其對(duì)于學(xué)習(xí)率和Dropout rate等訓(xùn)練參數(shù)設(shè)置的敏感度也隨之增加。如果不經(jīng)過仔細(xì)的參數(shù)設(shè)置，其模型很難達(dá)到所預(yù)想的識(shí)別精度。相比之下，ResNet網(wǎng)絡(luò)模型的構(gòu)架則更加穩(wěn)定(robust)，雖然其層數(shù)比普通神經(jīng)網(wǎng)絡(luò)大幅增加，但學(xué)習(xí)率設(shè)置并不需要過多的降低，所以其模型的訓(xùn)練難度相比VGGNet并沒有過多的增加，而識(shí)別精度卻大幅的提高了(本文中測(cè)試識(shí)別錯(cuò)誤率降低了近49%)。

8.結(jié)論

從神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜程度上來看，VGGNet模型的編譯難度較低，通用型強(qiáng)，在某些精度要求不高的平臺(tái)上依然被沿用著。而ResNet模型則代表了深度學(xué)習(xí)最前沿的發(fā)展方向，其能夠支持極深的神經(jīng)網(wǎng)絡(luò)模型的特點(diǎn)，大幅簡化了深層神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練與運(yùn)用。正如Eldan在其2016年的論文[8]中所闡述的，深層向前通道神經(jīng)網(wǎng)絡(luò)模型所能達(dá)到的識(shí)別能力將是傳統(tǒng)堆積模型所無法比擬的。本文也通過在Tensorflow中的建模與訓(xùn)練證實(shí)了這一點(diǎn)。而最新一代的谷歌神經(jīng)識(shí)別網(wǎng)絡(luò)Inception Net V4中也開始融入ResNet模型的特點(diǎn)[9]。所以未來深層卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展將引領(lǐng)整個(gè)深度學(xué)習(xí)界的發(fā)展，從而大大推動(dòng)其在圖像識(shí)別等領(lǐng)域更廣泛的運(yùn)用。

[1]Alex Krizhevsky,Ilya Sutskever,Geoffrey E.Hinton.ImageNet Classification with Deep Convolutional Neural Networks[J].NIPS 2012.

[2]McCulloch W,Pitts W.A logical Calculus of the Ideas Immanent in Nervous Activaty[J].Bulletion of Mathematical Biophysics Vol 5,1943.

[3]Maevin M,Seymour P,Perceptrons:An Introduction to Computational Geometry[M].1969:68-69.

[4]LeCun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceeding of the IEEE,1998.

[5]K.Simonyan,A.Zisserman.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].arXiv technical report,2014.

[6]Kaiming He,X.Zhang,S.Ren,J.Sun.Deep Residual Learning for Image Recognition[J].2015.arXiv:1512.03385.

[7]George E.Dahl,Tara N.Sainath,Geoffrey E.Hinton.Improving deep neural networks for LVCSR using rectified linear units and dropout[J].Proceeding of the IEEE,2013.

[8]Ronen Eldan,Ohad Shamir.The Power of Depth for Feedforward Neural Networks.2016 COLT.

[9]Christian Szegedy,Sergey Ioffe,Vincent V,Alex A.Inceptionv4,Inception-ResNet and the Impact of Residual Connections on Learning[J].2016.arXiv:1602.07261v2.