劉健 袁謙 吳廣 喻曉

摘 要： 卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一種經(jīng)典而廣泛應(yīng)用的結(jié)構(gòu)，克服了過(guò)去人工智能中被認(rèn)為難以解決的一些問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)的局部連接、權(quán)值共享及下采樣操作等特性使之可以有效地降低網(wǎng)絡(luò)的復(fù)雜度，減少訓(xùn)練參數(shù)的數(shù)目，使模型對(duì)平移、扭曲、縮放具有一定程度的不變性，并具有強(qiáng)魯棒性和容錯(cuò)能力，也易于訓(xùn)練和優(yōu)化。文章介紹了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，開(kāi)源工具，及在圖像分類(lèi)領(lǐng)域中的一些應(yīng)用，給出了卷積神經(jīng)待解決的問(wèn)題及展望。

關(guān)鍵詞： 深度學(xué)習(xí)； 卷積神經(jīng)網(wǎng)絡(luò)； 網(wǎng)絡(luò)結(jié)構(gòu)； 訓(xùn)練方法

中圖分類(lèi)號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2018）11-19-04

Abstract： As a classical kind of widely used network structure in deep learning，convolutional neural networks has successfully solved some problems which were considered difficult to solve in artificial intelligence in the past. The characteristics such as local connections， shared weights，under-sampling etc. can reduce the complexity of networks and the number of training parameters， and can also make the model creating invariance to translation， distortion and zoom and having strong robustness and fault tolerance. So it is easy to train and optimize its network structure. This paper introduces the training methods， open source tools of convolutional neural networks and its applications in the field of image classification， the problems and prospects of the convolutional neural network to be solved are given also.

Key words： deep learning； convolutional neural networks； network structure； training method

0 引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）是對(duì)生物神經(jīng)網(wǎng)絡(luò)的一種近似模擬，是由大量神經(jīng)元通過(guò)相互連接而構(gòu)成的自適應(yīng)非線性動(dòng)態(tài)網(wǎng)絡(luò)系統(tǒng)。1943年，心理學(xué)家McCulloch和數(shù)理邏輯學(xué)家Pitts提出了第一個(gè)神經(jīng)元數(shù)學(xué)模型，稱為MP模型[1]。他們通過(guò)MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個(gè)神經(jīng)元能執(zhí)行邏輯功能，從而開(kāi)創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時(shí)代。60年代，Rosenblatt[2]在MP模型基礎(chǔ)上提出了單層感知器模型，但是單層感知器網(wǎng)絡(luò)模型不能夠處理線性不可分問(wèn)題。直到1986年，Rumelhart[3]等人提出了BP算法解決了單層感知器不能解決的問(wèn)題，掀起了神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中的研究熱潮。神經(jīng)網(wǎng)絡(luò)中的大量參數(shù)，容易發(fā)生局部最優(yōu)、過(guò)擬合、訓(xùn)練時(shí)間長(zhǎng)的缺陷。2006 年，Hinton[4]等在《Science》上提出了深度學(xué)習(xí)，這篇文章的兩個(gè)主要觀點(diǎn)是：①多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)到的數(shù)據(jù)更能反映數(shù)據(jù)的本質(zhì)特征，有利于可視化或分類(lèi)；②深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過(guò)逐層無(wú)監(jiān)督訓(xùn)練有效克服。Bengio系統(tǒng)地介紹了深度學(xué)習(xí)所包含的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)方法。目前，常用的深度學(xué)習(xí)模型有深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）[5-6]、層疊自動(dòng)去噪編碼機(jī)（Stacked Denoising Autoencoders，SDA）[7-8]、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）[9-10]等。

1 CNN概述

神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層，如圖1所示。

卷積神經(jīng)網(wǎng)絡(luò)是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，卷積結(jié)構(gòu)可以減少深層網(wǎng)絡(luò)占用的內(nèi)存量，也可以減少網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)，緩解模型的過(guò)擬合問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)中隱藏層是重要組成部分。經(jīng)典的CNN由輸入層、卷積層、下采樣層（也稱池化層）、全連接層及輸出層組成。典型的LeNet-5[9]是經(jīng)典的CNN結(jié)構(gòu)，如圖2所示。卷積層和下采樣層一般會(huì)取若干個(gè)，采用卷積層和下采樣層交替設(shè)置，即一個(gè)卷積層連接一個(gè)下采樣層，下采樣層后再連接一個(gè)卷積層，依此類(lèi)推。由于卷積層中輸出特征面的每個(gè)神經(jīng)元與其輸入進(jìn)行局部連接，并通過(guò)對(duì)應(yīng)的連接權(quán)值與局部輸入進(jìn)行加權(quán)求和再加上偏置值，得到該神經(jīng)元輸入值，該過(guò)程等同于卷積過(guò)程，CNN也由此而得名[9]。

1.1 卷積層

卷積核是卷積層的重要組成部分。特征提取器是卷積核的本質(zhì)，其主要作用是自動(dòng)提取輸入信號(hào)的深層信息。卷積層由多個(gè)特征面組成，每個(gè)特征面由多個(gè)神經(jīng)元組成，它的每一個(gè)神經(jīng)元通過(guò)卷積核與上一層特征面的局部區(qū)域相連。上一層的特征圖被一個(gè)可學(xué)習(xí)的卷積核進(jìn)行卷積，然后通過(guò)一個(gè)激活函數(shù)，就可以得到輸出特征圖。每個(gè)輸出特征圖可以組合卷積多個(gè)特征圖的值[11]：

其中，ulj稱為卷積層l的第j個(gè)通道的凈激活，它通過(guò)對(duì)前一層輸出特征圖xil-1進(jìn)行卷積求和與偏置后得到，xlj是卷積層l的第j個(gè)通道的輸出。f（·）稱為激活函數(shù)，通?？墒褂胹igmoid和tanh等函數(shù)。Mj表示用于計(jì)算ulj的輸入特征圖子集，kjij是卷積核矩陣，blj是對(duì)卷積后特征圖的偏置。對(duì)于一個(gè)輸出特征圖xlj，每個(gè)輸入特征圖xil-1對(duì)應(yīng)的卷積核kjij可能不同，“*”是卷積符號(hào)。

影響CNN性能有3個(gè)因素：層數(shù)、特征面的數(shù)目及網(wǎng)絡(luò)組織。使用9種結(jié)構(gòu)的CNN進(jìn)行中文手寫(xiě)體識(shí)別實(shí)驗(yàn)，通過(guò)統(tǒng)計(jì)測(cè)試結(jié)果得到具有較小卷積核的CNN結(jié)構(gòu)的一些結(jié)論：①增加網(wǎng)絡(luò)的深度能夠提升準(zhǔn)確率；②增加特征面的數(shù)目也可以提升準(zhǔn)確率；③增加一個(gè)卷積層比增加一個(gè)全連接層更能獲得一個(gè)更高的準(zhǔn)確率。Bengio等人[12]指出深度網(wǎng)絡(luò)結(jié)構(gòu)具有兩個(gè)優(yōu)點(diǎn)：①可以促進(jìn)特征的重復(fù)利用；②能夠獲取高層表達(dá)中更抽象的特征，由于更抽象的概念可根據(jù)抽象性更弱的概念來(lái)構(gòu)造，因此深度結(jié)構(gòu)能夠獲取更抽象的表達(dá)。He等人[13]探討了在限定計(jì)算復(fù)雜度和時(shí)間上如何平衡CNN網(wǎng)絡(luò)結(jié)構(gòu)中深度、特征面數(shù)目、卷積核大小等因素的問(wèn)題。該文獻(xiàn)首先研究了深度與卷積核大小間的關(guān)系，通過(guò)實(shí)驗(yàn)結(jié)果表明網(wǎng)絡(luò)深度比卷積核大小更重要；當(dāng)時(shí)間復(fù)雜度大致相同時(shí)，具有更小卷積核且深度更深的CNN結(jié)構(gòu)，比具有更大卷積核同時(shí)深度更淺的CNN結(jié)構(gòu)能夠獲得更好的實(shí)驗(yàn)結(jié)果。其次，該文獻(xiàn)也研究了網(wǎng)絡(luò)深度和特征面數(shù)目間的關(guān)系，實(shí)驗(yàn)結(jié)果表明，深度越深，網(wǎng)絡(luò)性能越好；然而隨著深度的增加，網(wǎng)絡(luò)性能也逐漸達(dá)到飽和。此外，該文獻(xiàn)還通過(guò)固定網(wǎng)絡(luò)深度研究了特征面數(shù)目和卷積核大小間的關(guān)系，通過(guò)實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)特征面數(shù)目和卷積核大小的優(yōu)先級(jí)差不多，其發(fā)揮的作用均沒(méi)有網(wǎng)絡(luò)深度大。

1.2 下采樣層

下采樣層用來(lái)實(shí)現(xiàn)對(duì)特征圖的采樣處理，在減少數(shù)據(jù)量的同時(shí)保留有用的信息，使CNN具有抗畸變的能力。下采樣層將每個(gè)輸入特征圖通過(guò)下面的公式下采樣輸出特征圖：

其中，ulj稱為下采樣層l的第j通道的凈激活，它由前一層輸出特征圖xil-1進(jìn)行下采樣加權(quán)、偏置后得到，β是下采樣層的權(quán)重系數(shù)，blj是下采樣層的偏置項(xiàng)。符號(hào)down（·）表示下采樣函數(shù)，它通過(guò)對(duì)輸入特征圖xjl-1通過(guò)滑動(dòng)窗口方法劃分為多個(gè)不重疊的n×n圖像塊，然后對(duì)每個(gè)圖像塊內(nèi)的像素求和、求均值或最大值，于是輸出圖像在兩個(gè)維度上都縮小了n倍。

下采樣層旨在通過(guò)降低特征面的分辨率來(lái)獲得具有空間不變性的特征。下采樣層起到二次提取特征的作用，它的每個(gè)神經(jīng)元對(duì)局部接受域進(jìn)行采樣操作。常用的方法有最大下采樣即取局部接受域中值最大的點(diǎn)、均值下采樣即對(duì)局部接受域中的所有值求均值、隨機(jī)下采樣[14-15]。

1.3 全連接層

全連接層一般位于網(wǎng)絡(luò)尾端，對(duì)前面逐層變換和映射提取的特征進(jìn)行回歸分類(lèi)等處理。將所有二維圖像的特征圖拼接為一維特征作為全連接網(wǎng)絡(luò)的輸入。全連接層l的輸出可通過(guò)對(duì)輸入加權(quán)求和并通過(guò)激活函數(shù)的響應(yīng)得到：

其中，ul稱為全連接層l的凈激活，它由前一層輸出特征圖xl-1進(jìn)行加權(quán)和偏置后得到的。wl是全連接網(wǎng)絡(luò)的權(quán)重系數(shù)，bl是全連接層l的偏置項(xiàng)。

為了提升CNN網(wǎng)絡(luò)性能，全連接層每個(gè)神經(jīng)元的激勵(lì)函數(shù)一般采用ReLU函數(shù)[16]。最后一層全連接層的輸出值被傳遞給一個(gè)輸出層，可以采用softmax邏輯回歸進(jìn)行分類(lèi)，該層也可稱為softmax層。

2 CNN訓(xùn)練方法及開(kāi)源工具

2.1 訓(xùn)練方法

神經(jīng)網(wǎng)絡(luò)用于模式識(shí)別的主流是有監(jiān)督訓(xùn)練[17]，無(wú)監(jiān)督訓(xùn)練更多的是用于聚類(lèi)分析。對(duì)于有監(jiān)督訓(xùn)練，根據(jù)同類(lèi)樣本在空間的分布及不同類(lèi)樣本之間的分離程度找一種適當(dāng)?shù)目臻g劃分方法，使得不同類(lèi)樣本分別位于不同的區(qū)域內(nèi)。

卷積網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，它能夠?qū)W習(xí)大量的輸入與輸出之間的映射關(guān)系，而不需要任何輸入和輸出之間的精確的數(shù)學(xué)表達(dá)式，只要用已知的模式對(duì)卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)就具有輸入輸出對(duì)之間的映射能力。卷積網(wǎng)絡(luò)通過(guò)BP算法進(jìn)行有監(jiān)督訓(xùn)練。在開(kāi)始訓(xùn)練前，采用一些不同的小隨機(jī)數(shù)對(duì)網(wǎng)絡(luò)中的所有的權(quán)值和偏置值進(jìn)行初始化，“小隨機(jī)數(shù)”用來(lái)保證網(wǎng)絡(luò)不會(huì)因權(quán)值過(guò)大而進(jìn)入飽和狀態(tài)，從而導(dǎo)致訓(xùn)練失?。弧安煌庇脕?lái)保證網(wǎng)絡(luò)可以正常地學(xué)習(xí)。隨機(jī)初始化的權(quán)值和偏置值的范圍可為[-0.5，0.5]或者[-1，1]（或者是其他合適的區(qū)間）[18]。

在實(shí)際應(yīng)用中，無(wú)標(biāo)注的數(shù)據(jù)遠(yuǎn)多于有標(biāo)注的數(shù)據(jù)，同時(shí)對(duì)數(shù)據(jù)進(jìn)行人工標(biāo)注也需要耗費(fèi)較大的人力。但是為了使有監(jiān)督CNN得到充分的訓(xùn)練并獲得較好的泛化能力，又需要大量有標(biāo)注的訓(xùn)練樣本，這一定程度上制約了CNN在實(shí)際中的應(yīng)用。

2.2 開(kāi)源工具

深度學(xué)習(xí)能夠廣泛應(yīng)用于眾多研究領(lǐng)域，離不開(kāi)許多優(yōu)秀的開(kāi)源深度學(xué)習(xí)仿真工具。目前常用的深度學(xué)習(xí)仿真工具有Caffe[19]、Torch、Theano[20]、以及TensorFlow等。

Caffe是一個(gè)基于C++語(yǔ)言且關(guān)于CNN相關(guān)算法的架構(gòu)。Caffe可以在CPU及GPU上運(yùn)行，它支持MATLAB和Python接口。Caffe提供了一個(gè)完整的工具包，用于訓(xùn)練、測(cè)試、微調(diào)及部署模型。Caffe允許用戶對(duì)新數(shù)據(jù)格式、網(wǎng)絡(luò)層和損失函數(shù)進(jìn)行拓展；它的運(yùn)行速度也很快，但是靈活性較差。

Torch是一個(gè)支持機(jī)器學(xué)習(xí)算法的科學(xué)計(jì)算框架。它是采用Lua腳本語(yǔ)言和C語(yǔ)言編寫(xiě)的。Torch為設(shè)計(jì)和訓(xùn)練機(jī)器學(xué)習(xí)模型提供了一個(gè)靈活的環(huán)境，它還可支持iOS、Android等嵌入式平臺(tái)，但Torch沒(méi)有Python接口。

Theano是一個(gè)允許用戶定義、優(yōu)化并評(píng)價(jià)數(shù)學(xué)表達(dá)式的Python庫(kù)。提供了NumPy的大部分功能，可在GPU上運(yùn)行。此外，Theano能夠自動(dòng)求微分，它尤其適用于基于梯度的方法。Theano能夠很容易且高效地實(shí)現(xiàn)遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）。然而Theano的編譯過(guò)程很慢，導(dǎo)入Theano也需要消耗時(shí)間。

TensorFlow是Google開(kāi)源的一款深度學(xué)習(xí)框架，可以在CPU和GPU上運(yùn)行，支持C++和Python編程語(yǔ)言，因此可以在不同的計(jì)算機(jī)上自由運(yùn)行代碼，程序比Theano編譯時(shí)間短。TensorFlow不僅支持深度學(xué)習(xí)，還有支持強(qiáng)化學(xué)習(xí)和其他算法的工具。TensorFlow的計(jì)算圖是純Python的，因此速度較慢。

3 CNN應(yīng)用

近年來(lái)，CNN已被廣泛應(yīng)用于圖像處理領(lǐng)域中。Krizhevsky等人[21]第1次將CNN用于LSVRC-12競(jìng)賽中，通過(guò)加深CNN模型的深度并采用ReLU+dropout技術(shù)，取得了當(dāng)時(shí)最好的分類(lèi)結(jié)果（該網(wǎng)絡(luò)結(jié)構(gòu)也被稱為AlexNet）。相比于AlexNet，Szegedy等人[22]大大增加了CNN的深度，提出了一個(gè)超過(guò)20層的CNN結(jié)構(gòu)（稱為GoogleNet）。在GoogleNet結(jié)構(gòu)中采用了3種類(lèi)型的卷積操作，該結(jié)構(gòu)的主要特點(diǎn)是提升了計(jì)算資源的利用率，它的參數(shù)比文獻(xiàn)[21]少了12倍，而且GoogleNet的準(zhǔn)確率更高，在LSVRC-14中獲得了圖像分類(lèi)“指定數(shù)據(jù)”組的第1名。Simonyan等人[23]在其發(fā)表的文章中探討了“深度”對(duì)于CNN網(wǎng)絡(luò)的重要性。該文通過(guò)在現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)中不斷增加具有3×3卷積核的卷積層來(lái)增加網(wǎng)絡(luò)的深度，實(shí)驗(yàn)表明，當(dāng)權(quán)值層數(shù)達(dá)到16～19時(shí)，模型的性能能夠得到有效提升（也稱為VGG模型）。 VGG與GoogLeNet的深度都比較深，所以網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，訓(xùn)練時(shí)間長(zhǎng)，而且VGG還需要多次微調(diào)網(wǎng)絡(luò)的參數(shù)。

4 總結(jié)

CNN通過(guò)權(quán)值共享減少了需要訓(xùn)練的權(quán)值個(gè)數(shù)、降低了網(wǎng)絡(luò)的計(jì)算復(fù)雜度，同時(shí)通過(guò)下采樣操作使得網(wǎng)絡(luò)對(duì)輸入的局部變換具有一定的不變性，提升了網(wǎng)絡(luò)的泛化能力。卷積神經(jīng)網(wǎng)絡(luò)雖然在一些數(shù)據(jù)上取得了成功，仍有許多工作需要進(jìn)一步去做：①很難確定CNN使用哪種網(wǎng)絡(luò)結(jié)構(gòu)，使用多少層，每一層使用多少個(gè)神經(jīng)元才是合適的；②訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集的分布不一樣，則CNN很難獲得一個(gè)好的識(shí)別結(jié)果；③如何針對(duì)更大規(guī)模數(shù)據(jù)、更深結(jié)構(gòu)網(wǎng)絡(luò)設(shè)計(jì)高效的數(shù)值優(yōu)化、并行計(jì)算方法和平臺(tái)。

總之，CNN雖然還有許多有待解決的問(wèn)題，但是這并不影響今后它在模式識(shí)別與人工智能等領(lǐng)域中的發(fā)展與應(yīng)用，它在未來(lái)很長(zhǎng)的一段時(shí)間內(nèi)仍然會(huì)是人們研究的一個(gè)熱點(diǎn)。

參考文獻(xiàn)（References）：

[1] McCulloch W S，Pitts W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics，1943.5（4）：115-133

[2] Rosenblatt F. Principles of Neurodinamics： Preceptron and Theory of Brain Mechanisms. Washington，USA：Spartan Books，1962.

[3] Rumelhart D E， Hinton G， Williams R J. Learning representations by back-propagating errors. Nature，1986.323（6088）：533-536

[4] Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science，2006.313（5786）：504-507

[5] Hinton G，Osindero S，Teh Y-W. A fast learning algorithm for deep belief nets. Neural Computation，2006.18（7）：1527-1554

[6] Salakhutdinov R，Hinton G. Deep Boltzmann machines.Journal of Machine Learning Research-Proceedings Track，2009.9（1）：448-455

[7] Vincent P，Larochelle H，Bengio Y，et al. Extracting and composing robust features with denoising autoencoders//Proceedings of the 25th international Conference on Machine Learning.Helsinki，F(xiàn)inland，2008：1096-1103

[8] Vincent P，Larochelle H，Bengio Y，et al. Stacked denoising autoencoders：Learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research，2010.11（12）：3371-3408

[9] LeCun Y，Bottou L，Bengio Y，et al. Gradient-base learning applied to document recognition. Proceedings of the IEEE，1998.86（11）：2278-2324

[10] LeCun Y，Boser B，Denker J S，et al. Backpropagation applied to handwritten zip code recognition. Neural Compution，1989.11（4）：541-551

[11] Bouvrie J. Notes On Convolutional Neural Networks，MIT CBCL Tech Report，Cambridge，MA，2006.

[12] Bengio Y，Courville A，Vincent P. Representation learning：A review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013.35（8）：1798-1828

[13] He Kai-Ming，Sun Jian. Convolutional neural networks at constrained time cost//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，USA，2015：5353-5360

[14] Boureau Y-L， Roux N L， Bach F， et al. Ask the locals：Multi-way local pooling for image recognition//Proceedings of the 2011 International Conference on Computer Vision. Barcelona，Spain，2011：2651-2658

[15] Zeiler M D，F(xiàn)ergus R. Stochastic pooling for regularization of deep convolutional neural networks. arXiv：1301. 3557v1，2013.

[16] O'Shea K，Nash R. An introduction to convolutional neural networks. arXiv：1511. 08458v2，2015.

[17] Bengio Y. Learning deep architectures for AI.Foundations and Trends in Machine Learning，2009.2（1）：1-127

[18] Fausett L. Fundamentals of Neural Networks：Architec-tures， Algorithms， and Applications. London：Prentice-Hall，1994.

[19] Jia Yang-Qing，Shelhamer E，Donahue J，et al. Caffe：Convolutional architecture for fast feature embedding//Proceedings of the ACM International Conference on Multimedia. Orlando，USA，2014：675-678

[20] Al-Rfou R，Alain G，Almahairi A，et al. Theano：A python framework for fast computation of mathematical expressions. arXiv：1605. 02688v1，2016.

[21] Krizhevsky A， SutskeverⅡ， Hinton G. Imagenet classification with deep convolutional neural networks//Proceedings of the Advances in Neural Information Processing Systems. Lake Tahoe，USA，2012：1097-1105

[22] Szegedy C，Liu Wei，Jia Yang-Qing，et al. Going deeper with convolutions//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，USA，2015：1-9

[23] Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv：1409.1556v6，2014.