董立紅，李宇星，符立梅

西安科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，西安710600

圖像語義分割是計算機視覺領(lǐng)域中的一項基本任務(wù)。其主要目標(biāo)是通過某個特定的算法，將輸入的整幅圖像分割成多個具有特定含義的像素區(qū)域塊，并對每個像素區(qū)域標(biāo)注特定的語義標(biāo)簽，最終得到一幅像素級的語義分割圖像[1]。目前，在圖像語義分割方面的研究特別廣泛，自動駕駛、遙感測繪、人機交互和醫(yī)療影像分割等領(lǐng)域都有深入的研究與應(yīng)用[2-3]。例如，在自動駕駛領(lǐng)域，車體配備有圖像采集裝置，通過對采集到的圖像進行語義分割，精確定位車輛、道路、建筑物等目標(biāo)，輔助駕駛系統(tǒng)做出正確的決策，從而提高駕駛之安全性。

隨著深度學(xué)習(xí)的興起，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的圖像語義分割方法取得了突破性的成就。卷積神經(jīng)網(wǎng)絡(luò)能夠自動地從圖像中學(xué)習(xí)像素的特征表示，有效減少了人工提取特征的工作量。通過在大量的圖像樣本中反復(fù)訓(xùn)練，可以學(xué)到深層的語義特征。近年，基于全卷積的圖像語義分割算法得到了快速的發(fā)展[4-7]，為計算機視覺領(lǐng)域的發(fā)展帶來了新的契機。

2015年，Long等人[4]提出的全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）用卷積層替換了分類網(wǎng)絡(luò)的全連接層，然后通過上采樣將特征圖擴展到原始尺寸，實現(xiàn)了像素到像素的類別預(yù)測，然而經(jīng)過多次連續(xù)的卷積池化操作后使得特征圖的分辨率降低，導(dǎo)致上下文信息丟失。Kendall等人[8]提出的SegNet網(wǎng)絡(luò)是一種基于“編碼器—解碼器”的結(jié)構(gòu)。編碼過程中，通過卷積層提取特征，利用池化法擴大感受野。在解碼過程中，通過相應(yīng)編碼器在最大池化過程中存儲的索引來進行非線性上采樣，減少了對上采樣過程的學(xué)習(xí)，雖然在一定程度上降低了時間復(fù)雜度，卻以犧牲分割精度為代價。Chen等人[9]提出的DeepLab網(wǎng)絡(luò)采用了空洞卷積層，在不增加參數(shù)的同時擴大感受野，可以更出色地提取全局信息，結(jié)合馬爾科夫隨機場的概率模型以提高分割圖的邊界信息來提升精度，但將不同尺度的特征圖裁剪成相同尺度后進行簡單求和，容易造成局部區(qū)域誤識別。并且這些方法也沒有充分利用全局信息來提升語義分割結(jié)果。

本文設(shè)計了一個用于圖像語義分割的深度全卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用了“編碼器—解碼器”的結(jié)構(gòu)，編碼器前端通過下采樣來減少模型參數(shù)以加深網(wǎng)絡(luò)深度；編碼器后端通過空洞卷積替換傳統(tǒng)的卷積下采樣組合來緩解因多次下采樣造成的信息損失；加入了低階特征融合模塊將淺層語義信息融合到解碼過程來精細化邊緣信息；通過引入全局特征融合模塊來提升模型的感知能力。

1 相關(guān)理論與方法

1.1 基于全卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法

一個全卷積神經(jīng)網(wǎng)絡(luò)模型如圖1所示。

圖1 全卷積神經(jīng)網(wǎng)絡(luò)模型Fig.1 Fully convolutional neural network model

（1）輸入層。若干張圖片組成的像素矩陣。

（2）卷積層。組成卷積神經(jīng)網(wǎng)絡(luò)的重要部分。一個卷積層由多個尺寸相同的卷積核構(gòu)成，每個卷積核經(jīng)過多次迭代后學(xué)習(xí)到圖像的不同特征參數(shù)。學(xué)習(xí)過程可以表示為：

其中，x代表卷積層的輸入，y代表卷積層的輸出，w為卷積核，?為卷積運算操作，b為偏移量，f(?)為非線性激活函數(shù)。

（3）池化層。池化層又稱為聚合層，用下采樣的方法將前一層特征圖中一定鄰域內(nèi)的特征值在本層特征圖中用一個特征值表示，即用一個像素值來代表一個鄰域內(nèi)的像素信息。在多層卷積運算中，會產(chǎn)生大量的可學(xué)習(xí)參數(shù)，采用池化的方法可以降低參數(shù)數(shù)量，從而降低學(xué)習(xí)代價。在連續(xù)的下采樣過程中，可以逐漸擴大感受野，隨著感受野的擴大，卷積核所覆蓋的特征范圍越大，可以學(xué)習(xí)到的全局特征范圍也越大。目前常用的池化法主要有平均池化法（Average-Pooling）和最大池化法（Max-Pooling），平均池化法是用本層特征圖中一個特征值表示對應(yīng)上層特征圖中一定領(lǐng)域內(nèi)特征的平均值，最大池化法是用本層特征圖中一個特征值表示對應(yīng)上層特征圖中一定領(lǐng)域內(nèi)特征的最大值。

（4）上采樣層。上采樣是一種使圖像變成更高分辨率的技術(shù)，此處的主要目的是將特征圖逐層恢復(fù)至輸入圖像尺寸。

（5）輸出層。輸出具有像素級的語義分割圖像。在圖像分割任務(wù)中，常見的輸出層為Softmax層。它把所有輸入映射為0~1之間的實數(shù)，并保證這些值的總和為1，第i類特征的概率定義為：

特征值越大的類，輸出的概率值越大。最后取最大輸出值的類標(biāo)簽作為預(yù)測類標(biāo)簽。

1.2 批歸一化

批歸一化（Batch Normalization，BN）是Ioffe等人[10]在2015年提出的，該方法保證了網(wǎng)絡(luò)中數(shù)據(jù)傳輸?shù)囊恢滦浴Ｌ貏e在較深的神經(jīng)網(wǎng)絡(luò)模型中，訓(xùn)練過程容易出現(xiàn)“梯度爆炸”“梯度消失”的現(xiàn)象，導(dǎo)致訓(xùn)練結(jié)果難以收斂。批歸一化在一些網(wǎng)絡(luò)模型[11-12]中表現(xiàn)出了良好的性能，加快了模型的訓(xùn)練，提高了模型的泛化能力。

神經(jīng)網(wǎng)絡(luò)中每層的特征分布在訓(xùn)練過程中會不斷變化，使得網(wǎng)絡(luò)訓(xùn)練困難。歸一化方法標(biāo)準(zhǔn)化了每層的均值與方差，使網(wǎng)絡(luò)中任何一層參數(shù)學(xué)習(xí)到的都是比較穩(wěn)定的分布，從而提高網(wǎng)絡(luò)的訓(xùn)練速度。對于給定一批特征圖x∈RN×C×H×W，公式如下：

其中，μ(x)、δ(x)是特征圖的均值和標(biāo)準(zhǔn)差，γ和β是數(shù)據(jù)優(yōu)化的仿射參數(shù)。通常，批量歸一化方法在批量較大、數(shù)據(jù)分布相近的情形下作用更加明顯。

1.3 空洞卷積

空洞卷積（Dilated Convolution）又稱膨脹卷積，由Yu等人[13-14]提出，空洞卷積可被視為一種特殊的卷積操作。在圖像語義分割領(lǐng)域中，輸出的標(biāo)簽尺寸需要同輸入圖像保持一致，而深度卷積網(wǎng)絡(luò)結(jié)構(gòu)中都包含有多次下采樣操作，隨著網(wǎng)絡(luò)的加深語義信息更加抽象，但是在這個過程中不可避免地?fù)p失了大量的細節(jié)信息，且不可恢復(fù)。空洞卷積在一定程度上緩解了這個問題，在不降低特征圖分辨率的同時擴大了感受野，并且不會增加卷積核的可學(xué)習(xí)參數(shù)。

在一維情形中，公式可表示為：

其中，一維卷積核為w[n]，n為卷積核長度，y[i]為空洞卷積的輸出，r對應(yīng)了輸入的采樣步長，其值為1時即標(biāo)準(zhǔn)卷積。二維情形如圖2所示。

圖2 空洞卷積感受野Fig.2 Receptive field of dilated convolution

圖2中的（a）對應(yīng)了大小為3×3，步長r為1的卷積核，即標(biāo)準(zhǔn)卷積核。（b）對應(yīng)了大小為3×3，步長r為2的卷積核。此時卷積核大小實質(zhì)上仍為3×3，但空洞為1，即對7×7的區(qū)域只有9個點參與了運算，其他點可視為對應(yīng)的卷積核權(quán)重為0。所以在步長r為2的情況下，大小為3×3的卷積核將感受野擴展到了7×7。

1.4 反卷積

反卷積（Deconvolution）由Zeiler等人[15]于2010年提出，在圖像語義分割領(lǐng)域中主要用來上采樣。反卷積運算是卷積運算的逆過程，即反卷積運算的前向傳播過程即為卷積運算的反向傳播過程，所以也可以視反卷積的相乘矩陣為卷積的置換矩陣，故也常稱作置換卷積。反卷積運算可以增大特征圖的分辨率，擴大感受野。

反卷積過程如圖3所示，輸入特征圖尺寸為3×3，卷積核大小為3×3，步長為2，填充為1，計算得到的輸出特征圖大小為5×5。公式如下：

其中，i為輸入，o為輸出，s為步長，k為卷積核大小，p為填充。

2 融合低階特征與全局特征的圖像語義分割

在圖像語義分割領(lǐng)域，深度全卷積網(wǎng)絡(luò)通常需要進行多次連續(xù)的下采樣操作，在下采樣過程中特征圖的分辨率不斷降低，最終導(dǎo)致大量的語義特征信息丟失，容易造成分割精度的損失。針對這個問題，本文方法基于深度全卷積網(wǎng)絡(luò)進行改進，融合低階語義信息和全局語義信息進行圖像語義分割，使得分割結(jié)果更加精細，有效提高分割精度。

2.1 低階特征融合模塊設(shè)計

在基于深度學(xué)習(xí)的圖像語義分割任務(wù)中，融合低階特征是提高分割性能的一種重要方法。低階語義信息通常在深度網(wǎng)絡(luò)的前幾層，經(jīng)過的卷積和下采樣操作比較少，相較高階語義特征而言，其語義性低，但分辨率高，存在豐富的邊緣紋理等低階信息。而高階特征雖有更抽象的語義特征，但經(jīng)過多次卷積和下采樣操作降低了分辨率，缺乏低階特征的細節(jié)信息。

通過設(shè)計一個簡單的特征融合方案，對每次下采樣前產(chǎn)生的低階語義特征進行降維保存，然后將這些不同分辨率的低階特征融合到每次上采樣后對應(yīng)分辨率的高階特征上，然后通過卷積和上采樣繼續(xù)對融合后的特征圖進行運算，直到特征圖恢復(fù)至初始分辨率大小。為了達到更好的融合效果，本文采用了特征圖通道疊加的方法進行融合。

在網(wǎng)絡(luò)解碼器端得到的融合特征既包含了低階語義信息又包含了高階語義信息，相較于只經(jīng)過編碼器和解碼器提取的特征，融合低階語義特征后可以提供更多的細節(jié)信息，有利于提高分割精度，如圖4所示。

圖4 低階特征融合模塊Fig.4 Low order feature fusion module

2.2 全局特征融合模塊設(shè)計

在以往的研究中[16]，卷積神經(jīng)網(wǎng)絡(luò)在提取高階特征信息的任務(wù)中展示了良好的性能，對經(jīng)過多層卷積操作提取的高階語義信息進行分類時經(jīng)常會丟失一部分全局信息，容易使目標(biāo)的邊緣部分或者復(fù)雜場景中的物體出現(xiàn)誤分類。

全局特征可以進一步提高網(wǎng)絡(luò)模型對場景的感知能力，從而提高模型的分割性能。全局結(jié)構(gòu)主要以特征圖的全局信息為特征，在逐像素分類過程中起到一定的作用。如圖5所示，本文引入了一個全局特征融合模塊，其由池化層和卷積層共同構(gòu)成。全局池化層對輸入大小為C×H×W的特征圖的每個通道都進行了全局池化，形成大小為C×1×1的全局特征圖。其中，C為特征圖的通道大小，H為特征圖的高度，W為特征圖的寬度。

圖5 全局特征融合模塊Fig.5 Global feature fusion module

C×1×1的全局特征圖包含了所有通道的全局信息，然后用1×1的卷積運算降低全局特征的通道數(shù)，并通過復(fù)制特征值的方法對全局特征的每個通道擴張分辨率，最后將學(xué)習(xí)到的全局特征融合到解碼器產(chǎn)生的高階特征當(dāng)中。

2.3 總體結(jié)構(gòu)

本文的網(wǎng)絡(luò)架構(gòu)由一個16層的編碼器和一個10層的解碼器組成，對網(wǎng)絡(luò)輸出的特征圖進行逐像素分類。同時，通過引入低階語義融合模塊將編碼階段產(chǎn)生的不同分辨率下的低階特征融合到解碼過程，補充淺層特征以精細化特征圖目標(biāo)的邊緣信息，并且在網(wǎng)絡(luò)中引入了全局特征融合模塊，進一步提高網(wǎng)絡(luò)模型對場景的感知能力。所以，整個網(wǎng)絡(luò)是26層的全卷積網(wǎng)絡(luò)結(jié)構(gòu)，其結(jié)構(gòu)如圖6所示。

圖6 融合低價特征與全局特征的網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Network structure with fusion of global and low order features

在該網(wǎng)絡(luò)的16層編碼結(jié)構(gòu)中，前8層采用了VGG-19[17]的前8層卷積層，每一組卷積核將前一部分的輸出進行卷積操作生成一組特征圖，卷積操作均采用了大小為3×3的卷積核。為了維持?jǐn)?shù)據(jù)傳輸過程的一致性，將每層卷積生成的特征圖通過BN層進行批正則化處理，接著再通過修正線性單元（Rectified Linear Unit，ReLU）進行非線性映射。在下采樣過程中采用了核大小為2×2，步長為2的最大池化法來擴大感受野，為保存邊緣信息，采用了邊緣擴充的方法。經(jīng)過3組連續(xù)的卷積池化操作將特征圖大小降低到了原始分辨率的1/8。同時，低階語義信息提取模塊將每組池化前的特征圖通過1×1的卷積核將維度降低至原來的1/4作為低階語義信息，以期融合到解碼過程。

編碼器后8層使用了8層空洞卷積進行特征提取。由于池化層對特征圖進行降采樣后，雖然在一定程度上擴大了感受野，但每經(jīng)過一層池化操作特征圖尺寸就會縮小為原來的1/2，多次池化后會使圖像的細節(jié)信息嚴(yán)重?fù)p失。為了緩解這個問題，故而采用空洞卷積在不降低特征分辨率的同時來擴大感受野。為了不因空洞卷積采樣步長過大而過多地?fù)p失細節(jié)信息，本網(wǎng)絡(luò)將前4層空洞卷積層的采樣步長r設(shè)為2，后4層的采樣步長r設(shè)為4。然后將前四層空洞卷積層的輸出與后四層空洞卷積的輸出按1∶1進行融合作為編碼器的輸出。經(jīng)過多層空洞卷積后能有效獲取特征圖的全局特征信息，用全局特征提取模塊將編碼器的輸出進行全局平均池化，然后用1×1的卷積核進行降維，以期融合到最后的解碼過程。

在解碼過程中，本文方法采用了反卷積操作進行上采樣，通過每次上采樣將上一組輸出特征圖的尺寸擴展為原來的2倍，經(jīng)過三次上采樣操作將特征圖尺寸恢復(fù)到原始輸入尺寸。并且在每次上采樣后，將低階特征融合模塊提取的低階語義特征以維度擴展的形式融合到解碼過程中對應(yīng)尺寸的高階語義特征圖中，本文低階特征與高階特征的比例設(shè)為1∶4。最后將全局特征融合模塊提取的全局特征融合到解碼器后端，全局特征與高階特征比例設(shè)為1∶8。并在表1中列出了網(wǎng)絡(luò)主結(jié)構(gòu)的配置參數(shù)。

表1 網(wǎng)絡(luò)配置參數(shù)Table 1 Network parameter configuration

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與數(shù)據(jù)集

為了節(jié)約時間，通過Google發(fā)布的tesorflow深度學(xué)習(xí)框架來構(gòu)建網(wǎng)絡(luò)。采用的GPU型號為RTX 2080Ti，該卡顯存大小為11 GB，352位顯存位寬與4 352個CUDA核心單元。實驗環(huán)境的主要參數(shù)如表2所示。

表2 實驗環(huán)境參數(shù)Table 2 Experimental environmental parameters

在本次任務(wù)中采用CamVid（Cambridge-driving labelled Video database）[18]數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)。其中，標(biāo)簽圖為單通道，每一個像素值對應(yīng)了物體類別的ID號。將數(shù)據(jù)集中的所有像素區(qū)域共分成了11種目標(biāo)的語義標(biāo)簽，即sky、building、pole、road、pavement、tree、signsymbol、fence、car、pedestrian、cycle。因此在本次實驗中將對以上11種目標(biāo)實現(xiàn)語義分割。

3.2 實驗方案及結(jié)果分析

在訓(xùn)練網(wǎng)絡(luò)時，為了增強網(wǎng)絡(luò)的泛化能力，輸入圖像在第一層卷積前經(jīng)過了局部響應(yīng)歸一化（Local Response Normalization）處理，α=0.000 1，β=0.75。通過使用學(xué)習(xí)率為0.001的Adam算法優(yōu)化目標(biāo)損失函數(shù)，并迭代至損失函數(shù)收斂。在訓(xùn)練過程中，訓(xùn)練數(shù)據(jù)集隨機打亂，然后將每5個訓(xùn)練圖像作為一個批次，即batchsize設(shè)為5。網(wǎng)絡(luò)的目標(biāo)函數(shù)選用了交叉熵?fù)p失（cross-entropy loss）函數(shù)，并在網(wǎng)絡(luò)最后一層加入了L2正則化防止過擬合。由于數(shù)據(jù)集中各個類別的像素數(shù)量偏差較大，通過中值頻率均衡法進行類間平衡處理。

實驗評估過程中使用了如下的評估指標(biāo)：全局平均精度（PA）和平均交并比（mIoU），公式如下：

其中，nij表示第i類像素被預(yù)測為第j類像素的數(shù)量，ncl表示目標(biāo)的類別數(shù)，表示第i類目標(biāo)的像素總數(shù)。

由于mIoU的代表性強，高效簡潔，已經(jīng)成為目前通用的語義分割評價指標(biāo)，所以，將mIoU作為本實驗主要的評價指標(biāo)，而PA值作為mIoU的一個補充。

由于CamVid數(shù)據(jù)集比較小，為了防止在訓(xùn)練網(wǎng)絡(luò)的過程中發(fā)生過擬合現(xiàn)象，通過裁剪和左右翻轉(zhuǎn)的方法對其進行了數(shù)據(jù)增強。本次實驗中數(shù)據(jù)集的語義類別總共分為11類，在測試過程中將分割出11種語義目標(biāo)。經(jīng)過50 epochs后停止訓(xùn)練，訓(xùn)練過程中驗證集的mIoU值、平均像素精度和損失值的變化如圖7所示。

圖7 mIoU、PA與Loss曲線圖Fig.7 Curves of mIoU，PA and Loss

從圖7中可以看出，網(wǎng)絡(luò)訓(xùn)練到第12個epoch時mIoU值就達到了70%，迭代到27個epoch后mIoU達到了80%，在之后的訓(xùn)練中，mIoU雖然有非常緩慢的提升，但效果并不明顯。PA值在網(wǎng)絡(luò)迭代到37個epoch時就達到了95%。Loss值在網(wǎng)絡(luò)迭代到21個epoch時降低到10%左右，在接下來的訓(xùn)練過程中，模型基本開始收斂。經(jīng)過50個epoch迭代之后模型的mIoU達到了83%，PA值基本保持在了95%左右，Loss降低到了7%以下。

當(dāng)網(wǎng)絡(luò)在訓(xùn)練過程中精度不再顯著提高后，用測試集對此時的網(wǎng)絡(luò)模型進行測試，并使用PA和mIoU作為評價指標(biāo)。將測試結(jié)果與近期文獻所提的一些網(wǎng)絡(luò)結(jié)構(gòu)[19-23]進行了比較，各方法評價結(jié)果的具體數(shù)值如表3所示。結(jié)果表明本文方法的mIoU值高于當(dāng)前大多方法，并且PA值也達到了90%，特別在區(qū)域平滑方面有很好的性能。

表3 與其他網(wǎng)絡(luò)的比較Table 3 Comparison with other networks %

同時為了測試本文各個模塊的性能，在表4中列出了消融實驗的結(jié)果，D表示加入了空洞卷積，L表示為融合低階語義特征，G表示為融合全局語義特征。

表4 消融實驗測試結(jié)果Table 4 Ablation experiments %

從表4可以看出，本文所使用的各模塊都能對分割精度提升起到一定的作用，各模塊相互組合可以進一步提高網(wǎng)絡(luò)的分割結(jié)果。當(dāng)所有改進模塊聯(lián)合訓(xùn)練時，測試結(jié)果最終達到了90.14%的PA值和71.95%的mIoU值。加入空洞卷積后網(wǎng)絡(luò)結(jié)構(gòu)變深，可以提取更加豐富的高階特征，并且沒有降低特征圖的分辨率，保留了更多的特征信息。融合低階語義特征后，結(jié)合豐富的邊緣紋理等細節(jié)信息，使分割結(jié)果的邊界更加精確。在分割特征圖時融合全局特征信息后提高了模型的感知能力，可以有效降低誤分類的概率。實驗表明，融合低階特征和全局特征的深度全卷積網(wǎng)絡(luò)可以在輸入圖像中預(yù)測出更加平滑的像素級標(biāo)簽，深層網(wǎng)絡(luò)架構(gòu)可以有效提高圖像語義分割精度。

最后，圖8展示了本文設(shè)計的網(wǎng)絡(luò)在訓(xùn)練了50個epoch后得到模型在測試集上分割的結(jié)果。其第一行為輸入圖像；第二行為手工標(biāo)注圖；第三行為本網(wǎng)絡(luò)分割結(jié)果。在CamVid數(shù)據(jù)集中，地面、天空、建筑物等大型目標(biāo)在圖像中占據(jù)了很大的比例，對這些目標(biāo)的分割效果極大地影響著全局分割精度。

圖8 CamVid測試集上的分割結(jié)果Fig.8 Results on CamVid test dataset

4 結(jié)束語

本文設(shè)計了一個用于圖像語義分割的26層深度全卷積網(wǎng)絡(luò)。該網(wǎng)絡(luò)基于“編碼器—解碼器”的結(jié)構(gòu)，采用了空洞卷積來降低信息損失，并且設(shè)計了低階特征融合模塊和全局特征融合模塊通過融入低階語義信息和全局語義信息來提升分割精度。最后，在CamVid數(shù)據(jù)集上進行了訓(xùn)練和測試。實驗結(jié)果表明，在樣本數(shù)量充足的情況下，本文的網(wǎng)絡(luò)可以很好地學(xué)習(xí)圖像特征，并且準(zhǔn)確保留圖像的邊緣信息，特別在區(qū)域平滑方面有很大的提升。