■韓志濤

（山西科技學(xué)院能源工程學(xué)院，山西 太原 030499）

一、引言

隨著人工智能與大數(shù)據(jù)的高速發(fā)展，圖像分類任務(wù)作為大數(shù)據(jù)處理中的一個(gè)基本任務(wù)，受到了學(xué)者們的廣泛關(guān)注。圖像分類是通過算法找出一副圖片的所屬類別，計(jì)算機(jī)不同于人類的大腦，它無法顯式地判斷給定圖片的類別。這就要求算法具有提取圖像中隱含信息，即特征的能力，在特征提取之后，算法通過判斷特征與已有數(shù)據(jù)的標(biāo)簽類別的相似程度，將圖像進(jìn)行分類，這種技術(shù)廣泛應(yīng)用于人臉識(shí)別、自動(dòng)駕駛、點(diǎn)云數(shù)據(jù)識(shí)別等領(lǐng)域。然而傳統(tǒng)的圖像分類技術(shù)只能提取簡(jiǎn)單的圖像特征，如顏色、位置、形狀等，這是由于即使是一張維數(shù)很小的圖片，其特征數(shù)也會(huì)達(dá)到百萬級(jí)別，傳統(tǒng)的圖像分類算法無法同時(shí)識(shí)別數(shù)據(jù)量如此巨大的特征數(shù)，并且對(duì)其進(jìn)行分類。

人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks，ANN）的出現(xiàn)解決了這一難題[1]，最基本的人工神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層，如圖1所示，人工神經(jīng)網(wǎng)路通過模擬人體神經(jīng)元的工作模式，在算法層面實(shí)現(xiàn)一種自適應(yīng)性的學(xué)習(xí)模式，使得模型具有學(xué)習(xí)數(shù)據(jù)中隱含知識(shí)的能力。在人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，陸續(xù)提出了前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)等。為了進(jìn)一步提升圖像分類的性能，2012年，Krizhevsky等[2]提出了AlexNet網(wǎng)絡(luò)。該網(wǎng)絡(luò)作為深度學(xué)習(xí)的代表，在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，用多個(gè)小卷積層的疊加替換了單個(gè)的大卷積層，獲得了非常好的圖像分類能力。

圖1 人工神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)通過加深神經(jīng)網(wǎng)絡(luò)的層數(shù)來獲得更好的模型泛化性能，然而在模型性能提升的同時(shí)，深度網(wǎng)絡(luò)還會(huì)造成過梯度消失、梯度爆炸、過擬合等問題，這使得在模型訓(xùn)練時(shí)在加深網(wǎng)絡(luò)層數(shù)的同時(shí)，還應(yīng)該設(shè)計(jì)更加合理的深度網(wǎng)絡(luò)結(jié)構(gòu)，因此基于殘差模塊的深度網(wǎng)絡(luò)應(yīng)運(yùn)而生[3]。在深度網(wǎng)絡(luò)中引入殘差模塊，可以在保證梯度穩(wěn)定的條件下，網(wǎng)絡(luò)模型訓(xùn)練精度不發(fā)生退化。在此基礎(chǔ)上，基于注意力機(jī)制的深度網(wǎng)絡(luò)可以進(jìn)一步地提升模型的訓(xùn)練精度。接下來，本文將具體回顧經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)、基于殘差模塊的深度神經(jīng)網(wǎng)絡(luò)和基于注意力機(jī)制的深度網(wǎng)絡(luò)近年來的相關(guān)工作，并且對(duì)比三者的模型測(cè)試精度。值得注意的是，由于用于圖像分類的深度網(wǎng)絡(luò)研究具有極其豐富的內(nèi)容，本文難以涵蓋所有的工作，因此取其特例進(jìn)行介紹，旨在讓學(xué)者們更快地掌握?qǐng)D像分類深度網(wǎng)絡(luò)的研究歷史、典型例證和未來研究趨勢(shì)，為基于深度網(wǎng)絡(luò)的圖像分類任務(wù)研究提供一定的參考。

二、深度網(wǎng)絡(luò)模型

（一）經(jīng)典的深度網(wǎng)絡(luò)模型

深度神經(jīng)網(wǎng)絡(luò)是在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展而來的，Le Cun等[4-5]于1998年最早提出了卷積神經(jīng)網(wǎng)絡(luò)LeNet模型，該網(wǎng)絡(luò)包括3個(gè)卷積層、2個(gè)池化層和2個(gè)全連接層，如圖2所示。

圖2 LeNet網(wǎng)絡(luò)結(jié)構(gòu)

在此基礎(chǔ)上，AlexNet網(wǎng)絡(luò)更加細(xì)化了深度網(wǎng)絡(luò)的特點(diǎn)。其使用ReLu函數(shù)作為激活函數(shù)，ReLU函數(shù)可以選擇性地或分布式地激活神經(jīng)元，學(xué)習(xí)相對(duì)稀疏的特征并實(shí)現(xiàn)自動(dòng)分離；并且引入了Dropout，神經(jīng)元可以按照一定的概率從網(wǎng)絡(luò)中丟棄，以減少網(wǎng)絡(luò)模型參數(shù)，防止過度擬合。此外，該網(wǎng)絡(luò)還提出了重疊最大池化，讓池化步長(zhǎng)小于池內(nèi)核的邊緣，提升了特征空間的信息量，如圖3所示。

圖3 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

AlexNet網(wǎng)絡(luò)雖然取得了不錯(cuò)的圖像分類效果，但是其卷積核的尺寸較大，所以網(wǎng)絡(luò)參數(shù)量相較而言更多。因此，VGGNet網(wǎng)絡(luò)被提出，VGGNet具有6種結(jié)構(gòu)，其中VGGNet-16/19是目前較為流行的深度網(wǎng)絡(luò)架構(gòu)。VGGNet網(wǎng)絡(luò)通過將尺寸較大的卷積核更改為3×3的卷積核，并且進(jìn)行堆疊，加深網(wǎng)絡(luò)深度，當(dāng)深度堆疊到16層/19層時(shí)，實(shí)驗(yàn)表明模型測(cè)試效果有了大幅度的提升，這也從側(cè)面驗(yàn)證了深度學(xué)習(xí)的魯棒性。VGGNet網(wǎng)絡(luò)如圖4所示。

圖4 VGG-16 Net網(wǎng)絡(luò)結(jié)構(gòu)

此外，Szegedy等[6]提出了GoogLeNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)受到VGGNet的啟發(fā)，巧妙地提出了Inception模塊，該模塊可以進(jìn)一步拓寬模型的寬度和深度。本文以LeNet模型為例，分別介紹卷積層、池化層和全連接層的結(jié)構(gòu)。

1.卷積層

卷積層的目的是提取圖像特征，一般通過一個(gè)正方形的卷積核對(duì)輸入圖像的每一個(gè)通道內(nèi)像素點(diǎn)進(jìn)行遍歷，其中像素點(diǎn)對(duì)應(yīng)卷積核的位置表示為該點(diǎn)的權(quán)重，在進(jìn)行卷積操作時(shí)，卷積核與對(duì)應(yīng)位置像素點(diǎn)相乘，然后對(duì)得到的結(jié)果求和，視為一次卷積操作。一次遍歷輸入圖像中的所有像素點(diǎn)，達(dá)到提取特征的目的。LeNet網(wǎng)絡(luò)在卷積層之后加入下采樣層，之后再進(jìn)行卷積層操作，這種方法可以通過設(shè)定參數(shù)調(diào)整我們想要學(xué)習(xí)得到特征的大小，已經(jīng)初步具有了深度網(wǎng)絡(luò)的雛形。

2.池化層

池化層與卷積層類似，在池化層中，通過池化窗口對(duì)特性進(jìn)行降采樣處理。池化操作可以給特征施加一個(gè)強(qiáng)先驗(yàn)知識(shí)，使得模型更多地關(guān)注于特征本身信息而非特征的位置，進(jìn)行池化操作的網(wǎng)絡(luò)模型可以允許圖像特征存在微小位移擾動(dòng)。同時(shí)池化層降采樣的操作本質(zhì)上是一種降維操作，其具有一定稀疏性，因此還具有一定的去噪能力。

3.全連接層

全連接層一般位于整個(gè)網(wǎng)絡(luò)的最后，其作用是將前面經(jīng)過卷積層和池化層后的特征空間整合到一起。由于卷積和池化操作后得到的特征是不同的，對(duì)同一圖像，其提取的特征空間信息也可能包括許多方面，而通過全連接操作后，可以將這些特征整合到一個(gè)樣本空間中，可以有效提高模型的泛化能力，也可以保證分類結(jié)果不受特征位置的影響。

（二）基于殘差模塊的深度網(wǎng)絡(luò)模型

深度學(xué)習(xí)雖然在圖像分類任務(wù)上取得了較大的成功，然而隨著網(wǎng)絡(luò)層數(shù)的增加，梯度消失問題也會(huì)隨之而來。當(dāng)網(wǎng)絡(luò)在不斷的訓(xùn)練過程中，神經(jīng)元的權(quán)重由于計(jì)算得到的梯度越來越小而得不到有效更新，導(dǎo)致模型過早收斂，針對(duì)這一問題，設(shè)置激活函數(shù)和dropout可以有效解決。但是當(dāng)傳統(tǒng)的深度網(wǎng)絡(luò)的層數(shù)加深時(shí)，模型會(huì)發(fā)生退化，也就是說模型的測(cè)試精度會(huì)發(fā)生下降。He等[7]提出了深度殘差神經(jīng)網(wǎng)絡(luò)ResNet，傳統(tǒng)的深度網(wǎng)絡(luò)通常先進(jìn)行卷積操作，然后進(jìn)行池化操作，然后不斷堆疊卷積和池化模塊來構(gòu)成網(wǎng)絡(luò)；而ResNet的主要?jiǎng)?chuàng)新之處在其在數(shù)據(jù)輸入和輸出之前添加了一條捷徑，如圖5所示。

圖5 殘差模塊

當(dāng)在輸入和輸出之間添加了捷徑之后，輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)之前有了直接進(jìn)行信息交換的能力，這在一定程度上可以緩解梯度消失的問題；在卷積神經(jīng)網(wǎng)絡(luò)中，數(shù)據(jù)經(jīng)過卷積層之后的原始映射為H（x）,而在殘差網(wǎng)絡(luò)中，數(shù)據(jù)經(jīng)過殘差模塊的殘差映射為F（x）,其中F（x）=H(x)-x,x為原始數(shù)據(jù)的觀測(cè)值。通過這種方式，深度網(wǎng)絡(luò)學(xué)習(xí)用更簡(jiǎn)單的殘差映射來獲得輸出值。由于殘差網(wǎng)絡(luò)的輸出為F（x）+x,顯而易見地，在對(duì)輸出求偏導(dǎo)更新權(quán)重層時(shí)不會(huì)發(fā)生梯度消失的現(xiàn)象。

在此基礎(chǔ)上，殘差網(wǎng)絡(luò)的一些變體被提出。Li等人[8]提出了一種可調(diào)快捷連接改進(jìn)的ResNet，該網(wǎng)絡(luò)在CIFAR-100數(shù)據(jù)集上比ResNet的測(cè)試精度高出了3.66%，且沒有增加網(wǎng)絡(luò)的計(jì)算量；Qin等[9]在ResNet的基礎(chǔ)上，提出了RT-ResNet和RS-ResNet兩種方法，其中RT-ResNet是一種基于統(tǒng)一時(shí)間步長(zhǎng)的多步方法，RS-ResNet是一種使用可變時(shí)間步長(zhǎng)的自適應(yīng)多步方法；Shen等[10]提出了加權(quán)殘差網(wǎng)絡(luò)，通過更新權(quán)重來有效組合來自不同層的殘差，實(shí)驗(yàn)表明該方法使得網(wǎng)絡(luò)深度在100層增加到1000層時(shí)，模型的精度和收斂性能可以持續(xù)改進(jìn)；Han等人[11]提出了新穎的殘差結(jié)構(gòu)，類似于金子塔結(jié)構(gòu)。該網(wǎng)絡(luò)逐漸提高特征圖尺寸，將深層特征和淺層特征相融合，以涉及更多可能的特征位置。此外，Ahmed等人[12]將ResNet-FPN中的特征金字塔網(wǎng)絡(luò)替換為一組卷積層，提出了一種新的網(wǎng)絡(luò)架構(gòu)用于學(xué)習(xí)被篡改區(qū)域的判別偽影；Zhang等人[13]提出了多級(jí)殘差卷積神經(jīng)網(wǎng)絡(luò)，其將殘差網(wǎng)絡(luò)中的殘差塊進(jìn)行分組，并且在每組中添加二級(jí)連接，按照這種結(jié)構(gòu)，再對(duì)殘差塊進(jìn)行二次分組，然后繼續(xù)添加躍層連接；Zagoruyko等人[14]提出了寬度dropout塊，可以通過增加網(wǎng)絡(luò)寬度來增加殘差網(wǎng)絡(luò)的深度；Xie等人[15]提出了ResNcxt網(wǎng)絡(luò)，該網(wǎng)絡(luò)提出了一個(gè)同質(zhì)的多分支架構(gòu)，通過重復(fù)構(gòu)建塊來聚合一組具有相同拓?fù)涞霓D(zhuǎn)換。

在深度網(wǎng)絡(luò)中加入殘差模塊從網(wǎng)絡(luò)結(jié)構(gòu)上提高了模型得泛化能力，解決了深度模型梯度消失的問題，也可以在一定程度上緩解深度學(xué)習(xí)參數(shù)量過大的問題，是現(xiàn)階段應(yīng)用較為廣泛的深度學(xué)習(xí)策略。殘差網(wǎng)絡(luò)的各種變體形式也有效地提高的網(wǎng)絡(luò)的訓(xùn)練模型精度。

（三）基于注意力機(jī)制的深度網(wǎng)絡(luò)模型

近年來，注意力機(jī)制在深度網(wǎng)絡(luò)中的應(yīng)用越來越廣泛，顧名思義，注意力機(jī)制的作用就是可以使神經(jīng)網(wǎng)絡(luò)更多地關(guān)注于特定的重要特征，忽略一些不重要的特征，通過這種方式可以利用有限的注意力資源從大量的信息中提取出對(duì)學(xué)習(xí)任務(wù)有用的信息，可以大大提高圖像分類任務(wù)的處理效率與精度。

在ResNet作為主干網(wǎng)絡(luò)的深度學(xué)習(xí)分類任務(wù)中，雖然可以有效緩解梯度消失的問題，但是其在圖像分類任務(wù)上表現(xiàn)不佳。由此，Wang等[16]提出了基于注意力機(jī)制的深度殘差網(wǎng)絡(luò)，其中的殘差網(wǎng)絡(luò)是通過堆疊注意力模塊來形成的，這些模塊生成注意感知特征，如圖6所示，其中p,q,r是待調(diào)節(jié)的超參數(shù)。值得注意的是，網(wǎng)絡(luò)中不同模塊將捕獲不同的注意力信息，實(shí)驗(yàn)結(jié)果也表明，這種混合注意力機(jī)制比單一的注意力機(jī)制往往表現(xiàn)更好。另外，作者還創(chuàng)新地將自上而下的注意力機(jī)制編碼為一種分布式的架構(gòu)，整體呈現(xiàn)為自下而上的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而在每個(gè)模塊中表現(xiàn)為自上而下的形式。

圖6 注意力模塊

Zhang等[17]提出了一種多分支結(jié)構(gòu)來改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)中的表示學(xué)習(xí)，利用分割注意力模塊將多個(gè)通道的注意力整合到一起，用來提升圖像分類任務(wù)的性能。另外，作者基于分割注意力模塊，提出了一種殘差網(wǎng)絡(luò)的變體ResNeSt，該網(wǎng)絡(luò)用分割注意力模塊替代殘差塊，經(jīng)過實(shí)驗(yàn)驗(yàn)證，ResNeSt在精度和時(shí)延上都優(yōu)于傳統(tǒng)模型。Choi等[18]提出了一種基于細(xì)粒度的注意力機(jī)制，在訓(xùn)練中每個(gè)標(biāo)量都有其對(duì)應(yīng)的一個(gè)上下文向量，上下文向量的每個(gè)維度都將獲得單獨(dú)的注意力評(píng)分。Li等人[19]提出了一種具有跨級(jí)群歸一化和擠壓激勵(lì)運(yùn)算的信道注意機(jī)制，三種類型的注意力統(tǒng)一起來構(gòu)建混合注意力機(jī)制，實(shí)驗(yàn)指出混合注意力機(jī)制可以顯著提高模型精度。Wang等[20]提出了基于深度學(xué)習(xí)的多尺度特征融合和注意力機(jī)制網(wǎng)絡(luò)，將金字塔模塊和信道注意力機(jī)制有效集成。其中通道注意機(jī)制獲取不同感受場(chǎng)的特征圖，將每個(gè)特征圖分為兩組，并使用不同的卷積來獲得權(quán)重。Hu等[21]同樣針對(duì)通道之間的相互依賴性，提出了擠壓激勵(lì)模塊，通過顯式建模通道之間的相互依賴性，自適應(yīng)地重新校準(zhǔn)通道特征響應(yīng)。此外，全局二階池GSoP表現(xiàn)出了較好的性能，Gao等[22]將GSoP從較低層引入到較高層，以便在整個(gè)網(wǎng)絡(luò)中從空間維度和通道維度利用整體圖像信息。

在深度網(wǎng)絡(luò)中不考慮模型退化時(shí)，一般而言網(wǎng)絡(luò)深度越深，其模型參數(shù)量越大，該模型對(duì)特征的表達(dá)能力就會(huì)更強(qiáng)。然而大量的參數(shù)也可能導(dǎo)致過擬合現(xiàn)象，加入注意力機(jī)制的深度網(wǎng)絡(luò)可以有效緩解這一問題。注意力機(jī)制會(huì)關(guān)注于當(dāng)前輸入數(shù)據(jù)的重要特征，提高任務(wù)處理的效率，在圖像分類任務(wù)中這一機(jī)制表現(xiàn)出了顯著的效果。

三、實(shí)驗(yàn)對(duì)比

本小節(jié)中，我們通過對(duì)比AlexNet、ResNet和殘差注意力網(wǎng)絡(luò)三種典型網(wǎng)絡(luò)在圖像分類中的精度，進(jìn)一步了解三種類型的深度網(wǎng)絡(luò)之間的關(guān)系與區(qū)別。實(shí)驗(yàn)指標(biāo)為Top-5錯(cuò)誤率，分別在圖像數(shù)據(jù)集ImageNet和CIFAR-10上進(jìn)行，附表1展示了三種深度網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果，從附表1中可以看出，ResNet的參數(shù)量是最少的，殘差注意力網(wǎng)絡(luò)并沒有降低深度網(wǎng)絡(luò)的參數(shù)量；在ImageNet數(shù)據(jù)集上，ResNet的錯(cuò)誤率明顯低于AlexNet的錯(cuò)誤率,從側(cè)面驗(yàn)證了殘差模塊的效率；在CIFAR-10數(shù)據(jù)集上，殘差注意力網(wǎng)絡(luò)的錯(cuò)誤比ResNet降低了約5.8%，注意力機(jī)制在深度網(wǎng)絡(luò)中扮演了重要的角色。

附表1 三種類型深度網(wǎng)絡(luò)結(jié)果對(duì)比

圖7所示為錯(cuò)誤率結(jié)果直方圖，直觀地反映了三個(gè)網(wǎng)絡(luò)的錯(cuò)誤率對(duì)比情況。由圖7中可以看出，在兩個(gè)數(shù)據(jù)集上，經(jīng)典的深度網(wǎng)絡(luò)AlexNet錯(cuò)誤率最高。在ImageNet數(shù)據(jù)集上ResNet錯(cuò)誤率改善明顯，在CIFAR-10數(shù)據(jù)集上殘差注意力機(jī)制相較于AlexNet,錯(cuò)誤率降低不明顯，但也有一定程度的提高。

圖7 Top-5錯(cuò)誤率結(jié)果直方圖

四、總結(jié)與未來展望

深度學(xué)習(xí)作為圖像分類工作的重要方法，是目前大數(shù)據(jù)計(jì)算視覺中的一個(gè)熱門領(lǐng)域。從由仿生人神經(jīng)系統(tǒng)設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)開始，學(xué)者們一直致力于對(duì)圖像特征全方位的提取和學(xué)習(xí)，本文回顧了深度神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史的三個(gè)重要階段，經(jīng)典深度神經(jīng)網(wǎng)絡(luò)、殘差神經(jīng)網(wǎng)絡(luò)、注意力殘差神經(jīng)網(wǎng)絡(luò)三種類型，總結(jié)和討論了深度網(wǎng)絡(luò)用于圖像分類的優(yōu)缺點(diǎn)，在此基礎(chǔ)上，提出下一步更深入的研究方向。

（1）圖像分類作為最基本的計(jì)算視覺識(shí)別任務(wù)，現(xiàn)有的方法已經(jīng)在許多公開數(shù)據(jù)集上取得了很高的精確度。然而，針對(duì)核磁共振圖像、高光譜圖像、雷達(dá)圖像等等特殊數(shù)據(jù)集上的精度還有待提高，需要設(shè)計(jì)特定的深度網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)行圖像分類。

（2）輕量化的深度網(wǎng)絡(luò)問題亟待解決。深度網(wǎng)絡(luò)由于其龐大的參數(shù)量和較長(zhǎng)的訓(xùn)練時(shí)間，使其在移動(dòng)設(shè)備上的應(yīng)用很難實(shí)現(xiàn)，需要對(duì)深度網(wǎng)絡(luò)進(jìn)行壓縮，研究輕量化網(wǎng)絡(luò)，使其更易于在移動(dòng)邊緣節(jié)點(diǎn)上部署。

（3）在實(shí)際問題中，數(shù)據(jù)往往是沒有標(biāo)簽的。如何利用無標(biāo)簽數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，也是未來研究的熱點(diǎn)問題。