馬冬梅，賀三三，楊彩鋒，嚴(yán)春滿

西北師范大學(xué) 物理與電子工程學(xué)院，蘭州 730070

1 引言

深層卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）在圖像識(shí)別[1-2]、物體檢測(cè)[3-4]和關(guān)系分類[5]方面有很好的應(yīng)用。DCNN的內(nèi)在不變性可以學(xué)習(xí)到密集抽象的特征，比傳統(tǒng)根據(jù)樣本特征設(shè)計(jì)的系統(tǒng)性能要好很多。在分類任務(wù)中，這種不變性是很重要的，但是在密集的預(yù)測(cè)任務(wù)中卻會(huì)產(chǎn)生不利影響。例如在語(yǔ)義分割中不需要抽象的空間信息，而是需要更加精細(xì)的定位能力。

DCNN 應(yīng)用于語(yǔ)義分割面臨以下三個(gè)問(wèn)題：（1）特征分辨率遞減；（2）不同尺度物體的存在導(dǎo)致目標(biāo)特征丟失；（3）DCNN的不變性使得定位精度下降。

問(wèn)題（1）是由于重復(fù)組合DCNN 中最大池化引起的。在全卷積的DCNN中[6]，由于多次使用最大池化層，導(dǎo)致了特征圖的空間分辨率成倍降低。本文通過(guò)設(shè)置步長(zhǎng)取消VGG-16的最后兩個(gè)下采樣操作（通過(guò)最大池化進(jìn)行的下采樣），并采用空洞卷積，通過(guò)產(chǎn)生更密集的特征圖來(lái)解決這一問(wèn)題。和常規(guī)的卷積相比較，空洞卷積可以在不增加參數(shù)量和計(jì)算量的情況下有效地?cái)U(kuò)大濾波器的感受野。

問(wèn)題（2）是由多尺度物體的存在引起的。其中一個(gè)解決辦法是在DCNN 的輸入端并列地提供不同尺度的圖像的縮放版本，然后融合特征圖[7]。這種方法在實(shí)驗(yàn)中的確提高了系統(tǒng)的性能，但是要對(duì)輸入圖像的多尺度縮放版本計(jì)算特征響應(yīng)，計(jì)算量很大。本文以并行的多個(gè)采樣率的空洞卷積重新采樣特定的特征層，這就相當(dāng)于用多個(gè)濾波器提取原始圖像的特征。多采樣率的空洞卷積還具有不同尺度的視野，進(jìn)而在不同尺度上捕獲物體的有用信息。

問(wèn)題（3）涉及到的空間變換不變性是以物體為中心的分類器，這一特性固有地限制了DCNN的空間定位精度。本文采用跳躍層結(jié)構(gòu)從多個(gè)網(wǎng)絡(luò)層提取特征可以捕獲細(xì)節(jié)能力，另外本文采用文獻(xiàn)[8]提出的全連接條件隨機(jī)場(chǎng)。全連接條件隨機(jī)場(chǎng)能夠捕獲邊緣的細(xì)節(jié)，同時(shí)也適應(yīng)長(zhǎng)距離的依賴，計(jì)算更有效，很大程度上提高了像素級(jí)分類器的性能。

2 相關(guān)研究

通過(guò)樣本分析來(lái)設(shè)計(jì)特征的單一分類器的傳統(tǒng)方法，如支持向量機(jī)（Support Vector Machine，SVM），在語(yǔ)義分割中取得了很好的成績(jī)，但是這些系統(tǒng)的缺點(diǎn)是所表達(dá)的特征有限。近幾年深度學(xué)習(xí)在圖像分類中取得了很好的成績(jī)，進(jìn)而轉(zhuǎn)移到了語(yǔ)義分割的任務(wù)中[9]。通過(guò)提供密集的像素標(biāo)簽類別，DCNN可以進(jìn)行端到端的密集的像素預(yù)測(cè)，以至于可以脫離分割這一步驟。

圖1 本文算法結(jié)構(gòu)和DeepLab-ASPP對(duì)比圖

基于深度學(xué)習(xí)的語(yǔ)義分割在這幾年發(fā)展迅速，取得了重大突破，主體框架大體可分為VGGNet（Visual Geometry Group Network）和ResNet（Residual Network）兩大系列。VGGNet 系列有FCN（Fully Convolutional Network）、SegNet[10]、U-Net[11]、DeepLab[12]等。ResNet 系列有PSPNet（Pyramid Scene Parsing Network）[13]、ICNet[14]、BiSENet（Bilatel Segmentation Network）[15]、DeepLab V3+[16]等?；赗esNet 主框架的網(wǎng)絡(luò)引入了殘差結(jié)構(gòu)，層數(shù)比VGGNet 系列翻了好幾倍，提高了收斂效果，取得了比VGGNet整體水平優(yōu)異的結(jié)果，但是考慮到網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，以及對(duì)硬件設(shè)施的高性能要求，本文主要針對(duì)主體框架為VGGNet 結(jié)構(gòu)的網(wǎng)絡(luò)展開(kāi)研究。文獻(xiàn)[6]將DCNN 以全卷積（FCN）的方式應(yīng)用于整個(gè)圖像數(shù)據(jù)集，完全脫離了分割方法，用卷積層代替VGG-16 的最后三層全連接層，然后利用反卷積將分辨率恢復(fù)為原圖大小，從而進(jìn)行語(yǔ)義分割的密集預(yù)測(cè)。文獻(xiàn)[6]通過(guò)對(duì)中間的特征圖進(jìn)行上采樣，然后進(jìn)行多特征圖像的融合，進(jìn)一步提高了定位精度，取得了更好的語(yǔ)義分割效果，但是由于引入卷積核為7 的卷積，大大增加了模型參數(shù)，從而增大了計(jì)算負(fù)擔(dān)。文獻(xiàn)[17]引入了級(jí)聯(lián)的不同采樣率的空洞卷積來(lái)聚合多尺度上下文信息。文獻(xiàn)[12]對(duì)FCN進(jìn)行改進(jìn)，用3×3的卷積來(lái)取代第14層的7×7卷積層，減少了模型參數(shù)，從而加快了收斂速度。文獻(xiàn)[18]引入了并聯(lián)的不同采樣率的空洞卷積，提取不同尺度目標(biāo)的特征，改進(jìn)了密集預(yù)測(cè)效果，如圖1（a）所示。這些方法從不同的側(cè)面對(duì)VGG-16進(jìn)行改動(dòng)，從而達(dá)到密集預(yù)測(cè)的效果，但沒(méi)有整體性地考慮。本文從多方面考慮，用3×3的卷積來(lái)代替VGG-16的第一個(gè)全連接層，這里卷積層采用并聯(lián)的采樣率為r=6,12,18,24 的空洞卷積來(lái)提取不同尺度的特征信息，用卷積核為1×1的卷積代替VGG-16的后兩個(gè)全連接層，來(lái)進(jìn)行特征圖的降維。并且在VGG-16 主框架的Pool3 和Pool4 層中用卷積核為3×3的卷積進(jìn)行淺層特征的提取，同樣用1×1的卷積來(lái)對(duì)提取的淺層特征進(jìn)行降維，并進(jìn)行最后的特征圖融合，如圖1（b）所示。

3 算法介紹

選擇一個(gè)合適的主體框架是語(yǔ)義分割系統(tǒng)的首要任務(wù)，通過(guò)調(diào)研本文選擇VGGNet 作為主體框架，主要是基于以下三點(diǎn)來(lái)考慮的：

（1）VGGNet 有很強(qiáng)的特征提取能力，在遷移學(xué)習(xí)方面的表現(xiàn)要優(yōu)于AlexNet和GoogLeNet。從圖像中提取CNN特征的算法中，VGGNet是首選[6]。

（2）基于ResNet 網(wǎng)絡(luò)的語(yǔ)義分割系統(tǒng)，取得了良好的語(yǔ)義分割效果，但層數(shù)是VGGNet 的數(shù)倍，系統(tǒng)結(jié)構(gòu)復(fù)雜，以及對(duì)硬件設(shè)施有高性能要求[16]。

（3）基于VGGNet主體框架的FCN網(wǎng)絡(luò)的跳躍層結(jié)構(gòu)在沒(méi)有增加網(wǎng)絡(luò)深度的情況下拓寬網(wǎng)絡(luò)的寬度，提高了語(yǔ)義分割的精度，結(jié)構(gòu)較基于ResNet 網(wǎng)絡(luò)語(yǔ)義分割系統(tǒng)簡(jiǎn)單[6]。

基于以上考慮，本文選擇VGGNet作為語(yǔ)義分割系統(tǒng)的主體框架。采用在ImageNet 圖像分類任務(wù)（1 000類）中訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)VGG-16來(lái)進(jìn)行參數(shù)初始化，算法在主框架VGG-16的淺層（Pool3，Pool4）中分別使用卷積核為3 的卷積的跳躍層結(jié)構(gòu)來(lái)提取淺層特征，通過(guò)使用跳躍層結(jié)構(gòu)可以提高目標(biāo)的定位能力。同時(shí)用3×3 的采樣率為r=6,12,18,24 的卷積來(lái)代替全連接層，這樣可以對(duì)不同尺度的目標(biāo)特征進(jìn)行有效的提取，對(duì)所提取的特征圖用1×1的卷積進(jìn)行降維。最后進(jìn)行特征圖像的大融合。因?yàn)椴捎孟虏蓸雍蟮臉?biāo)簽圖來(lái)進(jìn)行訓(xùn)練，所以為了恢復(fù)到原始圖像的分辨率，采用雙線性插值對(duì)得分圖進(jìn)行上采樣，然后用全連接條件隨機(jī)場(chǎng)（Conditional Random Field，CRF）優(yōu)化分割結(jié)果?；赩GG-16算法模型的改動(dòng)部分如圖1（b）所示，流程圖如圖2所示。

圖2 本文算法流程圖

4 關(guān)鍵技術(shù)介紹

4.1 空洞卷積

在文獻(xiàn)[18]中，作者進(jìn)行多次實(shí)驗(yàn)，在Fc6層使用的卷積核為7、4、4、3，對(duì)應(yīng)的采樣率為4、4、8、12，共4組不同的實(shí)驗(yàn)進(jìn)行對(duì)比。發(fā)現(xiàn)當(dāng)卷積核為3×3，采樣率r=12時(shí)，模型與CRF能達(dá)到最好的平衡。故在本文算法中為了達(dá)到類似的平衡，同樣采用卷積核為3×3，采樣率r=12 的空洞卷積。假使卷積核的大小用ksize表示，空洞卷積感受野可以用以下公式來(lái)表示：

由以上公式計(jì)算得：感受野從3×3 變?yōu)?7×47，在Fc6 層中引入r=12 的空洞卷積，也就是在3×3 的卷積核中每行列各空開(kāi)11個(gè)位置，也就是所謂的“空洞”，這些空洞不參與計(jì)算，通過(guò)提高卷積層的感受野，空洞卷積可以計(jì)算到圖像更大范圍的響應(yīng)。雖然濾波器的尺寸增大了，但是在計(jì)算中只考慮非“空洞”的濾波器的值。因?yàn)闉V波器參數(shù)數(shù)量保持不變，所以沒(méi)有增加計(jì)算量，并且空洞卷積可以簡(jiǎn)單直接地控制卷積神經(jīng)網(wǎng)絡(luò)的特征響應(yīng)的空間分辨率，從而可以提取更多的特征，實(shí)現(xiàn)更密集的訓(xùn)練。

4.2 并聯(lián)的不同采樣率的空洞卷積

在Fc6層中并聯(lián)地引出4條支路，分別用3×3，r=6,12,18,24 的空洞卷積進(jìn)行特征提取，如圖1（b）所示，使用不同采樣率的多個(gè)并行的空洞卷積，相當(dāng)于用多個(gè)不同視野的濾波器提取原始圖像特征，進(jìn)而捕獲物體的不同尺度的有用信息。在每個(gè)空洞卷積提取的特征中再進(jìn)一步單獨(dú)降維處理，融合每一分支的特征圖。

4 條支路是在VGGNet 的主體框架上的橫向擴(kuò)展，4 條支路結(jié)構(gòu)相似，唯一區(qū)別就是支路首端Fc6 層的成倍增加的采樣率，從技術(shù)上來(lái)講，實(shí)現(xiàn)起來(lái)和1條支路的難度是一樣的，比較簡(jiǎn)單。4 條支路的Fc6 層的每個(gè)卷積核的參數(shù)量為3×3，4條支路的卷積核參數(shù)為3×3×4，共36個(gè)訓(xùn)練參數(shù)。而在全卷積神經(jīng)網(wǎng)絡(luò)中的Fc6層使用的是7×7的卷積，為49個(gè)訓(xùn)練參數(shù)。從一個(gè)側(cè)面來(lái)分析，參數(shù)越少，訓(xùn)練每迭代一次的時(shí)間就少，會(huì)提高訓(xùn)練的效率。

在本地與FCN-32s進(jìn)行實(shí)驗(yàn)對(duì)比，批次設(shè)為1，對(duì)比結(jié)果如表1所示。較FCN采用的7×7的卷積，本文算法采用4 條并聯(lián)的不同采樣率的卷積的支路，占用內(nèi)存小，計(jì)算效率高。

表1 采用并聯(lián)的不同采樣率的空洞卷積層的本文算法與FCN-32s的比較

4.3 結(jié)合淺層信息的特征圖融合

因?yàn)樵诰矸e神經(jīng)網(wǎng)絡(luò)中有池化層的存在，所以特征提取的過(guò)程也是特征消失的過(guò)程，為了彌補(bǔ)這種特征的消失，將Pool3、Pool4 層輸出的特征圖融合進(jìn)最后的得分圖中，當(dāng)考慮最大融合（融合Pool2，Pool1）時(shí)，出現(xiàn)了梯度更迭困難，實(shí)驗(yàn)效果反而不如只融合Pool3、Pool4層，因此本文在融合完P(guān)ool3、Pool4層之后沒(méi)有繼續(xù)融合。

具體操作方法是在Pool3 和Pool4 中引出兩條特征提取的支路，使用3×3，r=1 的卷積進(jìn)行特征提取，并且與多采樣率的空洞卷積所提取的特征圖進(jìn)行融合，將粗的高層信息與細(xì)的底層信息結(jié)合起來(lái)，如圖1（b）所示。本文算法從幾個(gè)聯(lián)合學(xué)習(xí)的端到端學(xué)習(xí)流中進(jìn)行訓(xùn)練和預(yù)測(cè)，將精細(xì)層和粗層相結(jié)合，能夠?qū)θ纸Y(jié)構(gòu)進(jìn)行細(xì)化預(yù)測(cè)。在跳轉(zhuǎn)時(shí)，得分層參數(shù)零初始化，這樣就不會(huì)干擾到其他流的現(xiàn)有預(yù)測(cè)。不同類型的特征圖融合可以在一定程度上提高語(yǔ)義分割的精度。

4.4 全連接條件隨機(jī)場(chǎng)

具有多個(gè)最大池化層的深層模型有很好的分類性能，然而空洞卷積帶來(lái)的大的感受野和模型固有的不變性不能得到很好的目標(biāo)定位，只能產(chǎn)生平滑的響應(yīng)。

在處理多類圖像分割和標(biāo)簽任務(wù)時(shí)，常見(jiàn)的方法是用條件隨機(jī)場(chǎng)（CRF）對(duì)圖像的像素或者圖像塊進(jìn)行最大后驗(yàn)推理。CRF勢(shì)能包含平滑項(xiàng)，使相似像素之間的標(biāo)簽一致性最大化，可以建立類之間的上下文關(guān)系[8]。

CRF 起初被用于平滑有噪聲的分割圖[19]。算法的分?jǐn)?shù)圖通常相當(dāng)平滑，并且能產(chǎn)生和結(jié)果一致的分類，因?yàn)樗惴ǖ淖罱K目標(biāo)不是實(shí)現(xiàn)進(jìn)一步的平滑，而是獲得詳細(xì)的局部細(xì)節(jié)，所以與短距離的CRF結(jié)合的效果不好。

為了克服短程CRF的這些局限性，本文算法將全連接CRF模型集成到語(yǔ)義分割系統(tǒng)中。全連接CRF應(yīng)用于語(yǔ)義分割的后期推理有如下優(yōu)點(diǎn)：

（1）可以提高算法捕獲精細(xì)細(xì)節(jié)的能力。

（2）能夠捕獲細(xì)微的邊緣細(xì)節(jié)。

（3）能夠適應(yīng)長(zhǎng)距離的依賴。

（4）對(duì)分割后的邊緣快速地進(jìn)行推理（約0.2 s）[8]。

因?yàn)镾oftmax層的計(jì)算是在降采樣后的標(biāo)簽中完成的，所以在預(yù)測(cè)時(shí)首先要通過(guò)雙線性插值來(lái)對(duì)卷積神經(jīng)網(wǎng)絡(luò)輸出的粗糙的得分圖進(jìn)行上采樣，來(lái)恢復(fù)到原始分辨率，繼而用全連接條件隨機(jī)場(chǎng)進(jìn)行最大后驗(yàn)推理。具體操作方法是：將原圖像和網(wǎng)絡(luò)輸出的預(yù)測(cè)圖輸入到全連接條件隨機(jī)場(chǎng)進(jìn)行最大后驗(yàn)推理，使得相似像素和像素近鄰的標(biāo)簽一致性最大化。

本文算法采用能量函數(shù)如下：

其中，x是像素的標(biāo)簽的賦值，在一元?jiǎng)菽堞萯(xi)=-lnP(xi)中，P(xi)是由DCNN 計(jì)算出的像素值為i的標(biāo)簽分配概率。成對(duì)勢(shì)能θij(xi,xj)是使用全連通圖進(jìn)行有效的推理，即當(dāng)連接所有圖像像素時(shí)：

如果xi≠xj，那么u(xi,xj)=1，否則u(xi,xj)=0，意味著不同標(biāo)簽的像素會(huì)被懲罰。表達(dá)式的其余部分使用兩個(gè)不同尺度的高斯內(nèi)核，第一個(gè)“雙邊”內(nèi)核依賴于像素位置和RGB 顏色，強(qiáng)調(diào)具有顏色和位置相近的像素具有相似的標(biāo)簽。第二個(gè)內(nèi)核依賴于像素位置，只考慮位置相近性。超參數(shù)σa、σb、σr控制高斯核的尺度。

4.5 參數(shù)的調(diào)試

在網(wǎng)絡(luò)較深的情況下，加載一個(gè)較好的收斂模型的參數(shù)來(lái)初始化新模型可以縮短模型的收斂時(shí)間[20]，因此用ImageNet 預(yù)訓(xùn)練的VGG-16 的參數(shù)來(lái)初始化。在分割系統(tǒng)中，把最后一層的1 000類ImageNet分類器替換為和語(yǔ)義數(shù)量相同的分類器，也就是實(shí)驗(yàn)中的21 類。損失函數(shù)是DCNN 輸出圖中每個(gè)空間位置的交叉熵項(xiàng)之和。目標(biāo)是下采樣的標(biāo)準(zhǔn)的語(yǔ)義分割標(biāo)簽圖。用標(biāo)準(zhǔn)的SGD方法對(duì)網(wǎng)絡(luò)層的所有權(quán)重進(jìn)行了目標(biāo)函數(shù)的優(yōu)化。DCNN一元項(xiàng)在設(shè)置CRF參數(shù)時(shí)是固定的，本文算法的訓(xùn)練和全連接CRF優(yōu)化是分開(kāi)進(jìn)行的。

采用poly的學(xué)習(xí)策略：

其中，基礎(chǔ)學(xué)習(xí)率base_lr=0.001，迭代次數(shù)iter=20，最大迭代次數(shù)分別設(shè)為max_iter=2×104,4×104,6×104,動(dòng)量power=0.9，輸入圖像的批次Batch size設(shè)置為8，用于防止過(guò)擬合的權(quán)重衰減項(xiàng)weight_decay=0.000 5。DCNN在增強(qiáng)集上微調(diào)訓(xùn)練后，以文獻(xiàn)[4]的方式交叉驗(yàn)證了CRF參數(shù)。使用默認(rèn)值w2=3 和σr=3，采用從粗略到精細(xì)的搜索方案對(duì)來(lái)自驗(yàn)證集的100 個(gè)圖像進(jìn)行交叉驗(yàn)證來(lái)搜索w1、σa、σb的最佳值，參數(shù)的初始搜索范圍是，和，然后在第一輪最佳值周圍優(yōu)化搜索步長(zhǎng)。

5 實(shí)驗(yàn)結(jié)果分析

5.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)來(lái)源

實(shí)驗(yàn)方法是用Caffe 框架來(lái)實(shí)現(xiàn)的[21]，機(jī)器軟硬件配置見(jiàn)表2，在數(shù)據(jù)集PASCAL VOC 2012[22]上訓(xùn)練及評(píng)估提出的模型。PASCAL VOC 2012 數(shù)據(jù)集有20 類前景目標(biāo)類和1 個(gè)背景類，原始數(shù)據(jù)集包含1 464 張訓(xùn)練圖，1 449 張驗(yàn)證圖，1 456 張測(cè)試圖。本文算法采用的增強(qiáng)數(shù)據(jù)集是額外標(biāo)注產(chǎn)生的10 582 張用來(lái)訓(xùn)練的圖像[23]，用21 類的平均像素交疊率（mIOU）以及每類像素的交疊率（IOU）來(lái)對(duì)語(yǔ)義分割效果進(jìn)行評(píng)估[6]。

表2 機(jī)器軟硬件配置

為了對(duì)算法的優(yōu)越性進(jìn)行評(píng)估，對(duì)基于VGGNet的DeepLab-ASPP 和本文算法進(jìn)行對(duì)比，訓(xùn)練參數(shù)以及數(shù)據(jù)量均保持一致，參數(shù)設(shè)置如4.5 節(jié)所示。值得注意的是在復(fù)原基于VGGNet 的DeepLab-ASPP 的結(jié)果時(shí)，實(shí)驗(yàn)中取得的最好結(jié)果是70.6%的mIOU，比文獻(xiàn)[18]中71.57%的mIOU 低，考慮是因?yàn)檩斎氲呐魏偷螖?shù)、雙顯卡并行運(yùn)算以及設(shè)備的單雙精度計(jì)算等有關(guān)。

5.2 結(jié)果分析

為了驗(yàn)證語(yǔ)義分割系統(tǒng)的有效性，通過(guò)在本地復(fù)現(xiàn)基于VGGNet的DeepLab-ASPP來(lái)與本文語(yǔ)義分割系統(tǒng)進(jìn)行對(duì)比，在所有訓(xùn)練參數(shù)都一致的情況下，用PASCAL VOC 2012的驗(yàn)證集來(lái)驗(yàn)證實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果如表3、表4和圖3所示。

通過(guò)表3對(duì)比發(fā)現(xiàn)，在同樣批次為8的條件下，在未加CRF 時(shí)本文系統(tǒng)的優(yōu)越性稍顯薄弱，在迭代次數(shù)為20 000 的時(shí)候，mIOU 提高了 0.3 個(gè)百分點(diǎn)；在迭代次數(shù)為40 000的時(shí)候，mIOU 都為68.7%，互相持平；在迭代次數(shù)為60 000 的時(shí)候，mIOU 提高了0.3 個(gè)百分點(diǎn)。加CRF 后，整體對(duì)比發(fā)現(xiàn)，本文算法在迭代次數(shù)為20 000的時(shí)候mIOU比DeepLab-ASPP+CRF提高了約0.7個(gè)百分點(diǎn)；在迭代次數(shù)為40 000的時(shí)侯，雙方結(jié)果相似，本文算法稍有優(yōu)勢(shì)；在迭代次數(shù)為60 000 的時(shí)候，mIOU 提高了0.9個(gè)百分點(diǎn)。通過(guò)對(duì)比發(fā)現(xiàn)本文算法在迭代20 000、40 000、60 000次時(shí)均有優(yōu)勢(shì)。

表3 本文算法和DeepLab V2不同迭代次數(shù)下的mIOU%

以20 000 次迭代為例，表4 為本文系統(tǒng)和DeepLab V2 系統(tǒng)21 個(gè)類別的IOU 的對(duì)比結(jié)果?？梢钥闯觯谖醇尤B接CRF 的時(shí)候，本文模型有10 個(gè)類別的IOU高于DeepLab-ASPP，尤其是自行車、瓶子、貓、椅子、盆栽這幾類的IOU，9 個(gè)類的IOU 低于DeepLab-ASPP，比率為10∶9。在加全連接 CRF 之后，有 13 個(gè)類別的 IOU 高于DeepLab-ASPP，8個(gè)類別的IOU低于DeepLab-ASPP，比率為13∶8。通過(guò)對(duì)比發(fā)現(xiàn)，本文算法在迭代次數(shù)為20 000的時(shí)候，語(yǔ)義分割效果優(yōu)于DeepLab V2系統(tǒng)。

表4 20 000次迭代下本文算法與DeepLab V2的IOU和mIOU對(duì)比 %

圖3 20 000次迭代下本文算法與DeepLab V2的語(yǔ)義分割結(jié)果對(duì)比

從測(cè)試集中抽出6 張圖進(jìn)行對(duì)比，如圖3 所示。在飛機(jī)這幅圖中，在不加CRF時(shí)，飛機(jī)尾翼分割均不連續(xù)，本文算法相對(duì)而言連續(xù)性好一點(diǎn)，當(dāng)加了CRF后飛機(jī)尾翼的連續(xù)性都有所改善，本文算法的飛機(jī)尾翼分割情況較好。在奶牛、自行車以及演講的人這3幅圖的語(yǔ)義分割中均出現(xiàn)類別的劃分錯(cuò)誤，通過(guò)全連接CRF 處理之后，部分的像素錯(cuò)分類可以得到解決，原因是全連接CRF可以使得相似以及近鄰像素的標(biāo)簽一致性最大化。

6 結(jié)束語(yǔ)

全卷積神經(jīng)網(wǎng)絡(luò)采用的跳躍層結(jié)構(gòu)可以改善空間細(xì)節(jié)，不同采樣率的空洞卷積可以提取多尺度目標(biāo)信息，全連接條件隨機(jī)場(chǎng)可以優(yōu)化目標(biāo)邊界細(xì)節(jié)。本文算法結(jié)合這些優(yōu)點(diǎn)，用并行的不同采樣率的空洞卷積提取多尺度目標(biāo)信息，并融合淺層跳躍層結(jié)構(gòu)提取的高分辨率特征圖的方法來(lái)改進(jìn)網(wǎng)絡(luò)，并且使用全連接條件隨機(jī)場(chǎng)進(jìn)一步平滑目標(biāo)邊界。通過(guò)實(shí)驗(yàn)驗(yàn)證，該算法在PASCAL VOC2012數(shù)據(jù)集上取得71.3% mIOU，優(yōu)于之前基于VGG-16的經(jīng)典方法。