華 靜，陳 亮，李子印

(中國計(jì)量大學(xué) 光學(xué)與電子科技學(xué)院，浙江 杭州 310018)

圖像語義分割的任務(wù)是對圖像中各個(gè)像素所屬類別進(jìn)行標(biāo)注[1 -2]，它作為圖像理解的重要一環(huán)，在自動駕駛領(lǐng)域、無人機(jī)領(lǐng)域及醫(yī)療影像分析領(lǐng)域等應(yīng)用中都有重要作用。其中，在無人駕駛領(lǐng)域中，檢測道路、行人、車輛，獲得物體輪廓信息，以輔助駕駛和避讓[3-6]。在無人機(jī)領(lǐng)域中，定位落地點(diǎn)和識別落地點(diǎn)場景[7]。在醫(yī)療影像分析領(lǐng)域，診斷腫瘤和齲齒[8]等。

早期的圖像語義分割主要包括像素級別閾值法[9]、基于像素聚類[10]的分割方法和基于圖論劃分的分割方法。但是傳統(tǒng)的方法過分依賴于人工標(biāo)注的特征庫，無法廣泛表示圖像特征，在實(shí)際生活應(yīng)用中具有很大局限性。基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[11]的方法無人工參與，便可以從大量訓(xùn)練圖像中自動地學(xué)習(xí)有用的語義特征，并能夠獲得更加精確的分割結(jié)果，較傳統(tǒng)語義分割方法具有明顯優(yōu)勢。

LONG等[12]人于2014年提出語義分割算法的開門之作：基于全卷積神經(jīng)網(wǎng)絡(luò)的語義分割算法(Fully Convolution Network,FCN),該模型是一個(gè)端到端的網(wǎng)絡(luò)，允許任意尺寸圖像的輸入，而不再局限于塊級別的輸入，極大地降低了計(jì)算復(fù)雜度。FCN使用卷積層替換傳統(tǒng)卷積網(wǎng)絡(luò)中的全連接層，通過跳轉(zhuǎn)連接將包含語義信息的高層特征和包含位置信息的低層特征進(jìn)行融合以達(dá)到精確的分割效果?；贔CN的思想，Badrinarayanan等[13]人提出了應(yīng)用于道路場景語義分割的SegNet網(wǎng)絡(luò)，SegNet的創(chuàng)新點(diǎn)在于所采用的池化層能夠記錄池化最大值的空間位置，保留池化層索引，在恢復(fù)圖像尺寸時(shí)調(diào)用池化層索引從而保證精確的位置關(guān)系映射。DeepLab是由Google團(tuán)隊(duì)提出的一系列用于語義分割的經(jīng)典算法，DeepLab v1[14]采用深度卷積網(wǎng)絡(luò)和全連接條件隨機(jī)場(DenseCRF)完成語義分割。 DeepLab v2[15]是在DeepLab v1的基礎(chǔ)上采用帶孔卷積(Atrous Convolution)，減少了下采樣過程造成的語義信息損失。DeepLab v3改進(jìn)了帶孔空間金字塔池化模型，通過帶孔卷積級聯(lián)獲取多尺度的語義特征。DeepLab v3+[16]在DeepLab v3的基礎(chǔ)上結(jié)合深度可分離卷積(Depthwise Separable Convolution)，并且引入編碼器-解碼器的架構(gòu)，大大提升了語義分割精度。

為充分利用物體的上下文信息，清晰描繪圖像的邊緣輪廓，本文在DeepLab v3+的基礎(chǔ)上，設(shè)計(jì)了一種基于多尺度融合的圖像語義分割方法，稱為MsffNet (Multi-scale Feature Fusion Network)，該方法的主要創(chuàng)新點(diǎn)為融合了多尺度的圖像特征，包括具有空間位置信息的低層特征和具有語義信息的高層特征，并且提出了一種融合算法，用于結(jié)合相鄰層次的特征，使得高層特征通過語義信息來選擇性地融合低層特征以達(dá)到最佳的分割效果。實(shí)驗(yàn)結(jié)果表明，該方法可以顯著提升語義分割性能。

1 MsffNet語義分割模型

1.1 語義分割網(wǎng)絡(luò)模型

本文提出的多尺度特征融合模型MsffNet是DeepLab v3+網(wǎng)絡(luò)模型的擴(kuò)展，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1，它包含語義特征提取和語義特征融合兩部分，其中特征提取部分與DeepLab v3+相同，由Aligned Xception[17]網(wǎng)絡(luò)結(jié)合帶孔空間金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)獲得輸出步長為16的語義特征，特征融合部分采用本文提出的融合算法對相鄰特征進(jìn)行融合，并且由高層往低層對多條支路特征融合，獲得增強(qiáng)特征。

圖1 MsffNet網(wǎng)絡(luò)結(jié)構(gòu)Figure 1 MsffNet network structure

1.2 特征提取

1.2.1AlignedXception網(wǎng)絡(luò)

語義特征提取主要使用Aligned Xception分類識別網(wǎng)絡(luò)提取特征，同時(shí)以此為基準(zhǔn)網(wǎng)絡(luò)結(jié)合ASPP獲取更深層次的特征。Aligned Xception的具體結(jié)構(gòu)如圖2，該網(wǎng)絡(luò)主要包括Entry flow、Middle flow和Exit flow三個(gè)部分，其中Entry flow包含2個(gè)卷積和3個(gè)殘差塊，Middle flow包括16個(gè)殘差塊，Exit flow包括2個(gè)殘差塊、1個(gè)全連接層和一個(gè)邏輯回歸層。由于Aligned Xception網(wǎng)絡(luò)在Entry flow中的conv1_1、block 1、block 2、block 3和Exit flow中的block 1的步長均為2，輸出的特征圖大小都會相較于輸入特征圖減小一半，因此最終輸出的特征圖相較于原始圖像大小縮小32×32倍。該網(wǎng)絡(luò)改進(jìn)了傳統(tǒng)的殘差塊結(jié)構(gòu)，將傳統(tǒng)殘差塊中的普通卷積全都替換成深度可分離卷積(Depthwise Separable Convolution)，同時(shí)每個(gè)3×3的深度可分離卷積后面都接有BatchNorm層和ReLU層，此操作不僅減少了計(jì)算消耗和參數(shù)量，還在精度上有所提升， Aligned Xception在ImageNet上的top-1錯誤率為20.19%低于ResNet-101的22.40%。

為了實(shí)現(xiàn)MsffNet網(wǎng)絡(luò)的特征提取部分，本文對Aligned Xception網(wǎng)絡(luò)進(jìn)行具體微調(diào)：去除Aligned Xception網(wǎng)絡(luò)的全連接層和邏輯回歸層，確保分類網(wǎng)絡(luò)輸出空間維度的特征；將Aligned Xception網(wǎng)絡(luò)的block 1中的步長改為1，同時(shí)加入擴(kuò)張率為2的空洞卷積，維持感受野范圍的變化。經(jīng)過微調(diào)，Aligned Xception網(wǎng)絡(luò)的輸出步長變?yōu)?6，為了和圖1中的特征提取網(wǎng)絡(luò)相對應(yīng)，我們根據(jù)輸出特征圖的大小將Aligned Xception網(wǎng)絡(luò)分為conv1、conv2、conv3、conv4和conv5，具體組成結(jié)構(gòu)如表1。輸入圖像大小為513×513，由于conv1、conv2、conv3、conv4的步長為2，conv5的步長為1，所以最終輸出的特征大小為33×33，本文取conv1、conv2和conv3輸出的特征作為低層特征。

圖2 Aligned Xception網(wǎng)絡(luò)Figure 2 Aligned Xception network

表1 Aligned Xception組成結(jié)構(gòu)Table 1 Aligned Xception composition structure

1.2.2帶孔空間金字塔池化

帶孔空間金字塔池化如圖3，用于對Aligned Xception輸出的最高層特征進(jìn)行處理，包括：1)對輸入特征做卷積核大小為1×1，個(gè)數(shù)為256的卷積；2)對輸入特征分別做卷積核大小為3×3，個(gè)數(shù)為256的采樣率為rate={6，12，18}的空洞卷積；3)對輸入特征做全局平均池化。

將1)、2)、3)的輸出特征進(jìn)行通道連接，再經(jīng)過卷積核大小為1×1，個(gè)數(shù)為256的卷積，輸出特征即為特征提取的最高層特征。

圖3 帶孔空間金字塔模型結(jié)構(gòu)Figure 3 Atrous spatial pyramid pooling module structure

1.3 特征融合

Aligned Xception是一個(gè)多層級的卷積神經(jīng)網(wǎng)絡(luò)，能夠?qū)W習(xí)得到像素級標(biāo)簽的強(qiáng)特征，低層特征由于感受野較小，學(xué)習(xí)局部細(xì)節(jié)的相關(guān)內(nèi)容，高層特征則學(xué)習(xí)更加抽象的語義信息[18]。抽象特征對物體的大小、位置和方向不敏感，旋轉(zhuǎn)不變性、平移不變性以及縮放不變性等特點(diǎn)是提升圖像分類性能的主要原因，但是這種高層特征感受野過大、語義信息過強(qiáng)，隱式地?fù)p失了場景中部分目標(biāo)的空間信息，犧牲了深度網(wǎng)絡(luò)的定位精度。直接對高層特征圖上采樣往往不利于邊緣細(xì)節(jié)的恢復(fù)，大部分的空間信息會被過多的降維和通道數(shù)增加忽略掉，造成邊緣細(xì)節(jié)粗糙。因此整合多層級多尺度的特征促進(jìn)低層細(xì)節(jié)與高層語義的增強(qiáng)互補(bǔ)往往能增強(qiáng)分割效果。如果對低層特征和高層特征直接進(jìn)行通道連接融合，這種做法忽略不同階段特征之間的差異性，造成分割目標(biāo)的不一致性，降低分割精度。

因此提出一種融合算法，該算法作用于鄰近兩個(gè)特征，由高層往低層逐漸融合，如圖1所示融合算法首先將ASPP輸出的特征與conv3輸出的特征融合為fuse_1，然后將fuse_1與conv2輸出的特征融合為fuse_2，再將fuse_2與conv1輸出的特征融合為fuse_3，最后fuse_3經(jīng)過上采樣實(shí)現(xiàn)最終的分割圖像。融合算法網(wǎng)絡(luò)結(jié)構(gòu)如圖4，其中所有的卷積核個(gè)數(shù)都為256。首先低級特征先經(jīng)過block 1，其中1×1的卷積是用于降低特征圖的通道數(shù)，減少參數(shù)的計(jì)算，提高訓(xùn)練模型速度，殘差模塊主要用來結(jié)合特征圖的通道信息，達(dá)到細(xì)化特征圖的效果；然后低級特征和高級特征輸入到block 2中，低級特征和高級特征先通過通道的疊加，經(jīng)過全局池化和兩個(gè)1×1的卷積，與低級特征相乘，再與高級特征相加，其中高級特征提供語義指導(dǎo)選擇低級特征，達(dá)到選擇更具區(qū)分力的特征；最后再經(jīng)過block 3，細(xì)化模塊的block 3和block 1相同，都是為了細(xì)化圖像特征。

本文算法不同于其他算法采用最后的輸出特征完成預(yù)測的做法，而是采用多個(gè)支路特征進(jìn)行融合，得到增強(qiáng)的語義特征，并且提出的融合算法考慮到了不同階段特征之間的差異性，使得高層特征通過語義信息來指導(dǎo)選擇低級特征，從而達(dá)到選擇更具區(qū)分力的特征。

圖4 融合算法網(wǎng)絡(luò)結(jié)構(gòu)Figure 4 Fusion algorithm network structure

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)計(jì)

數(shù)據(jù)集：本文在ADE20K和PASCAL VOC 2012數(shù)據(jù)集[19]上完成訓(xùn)練，1)ADE20K數(shù)據(jù)集，它是MIT提供的專門用于場景解析的數(shù)據(jù)集，可應(yīng)用于場景的感知、理解、分割以及多標(biāo)簽識別等，包含了機(jī)場、街道、汽車多個(gè)場景，總共150個(gè)類別。訓(xùn)練集、驗(yàn)證集和測試集分別包含2萬張、3千張和2千張數(shù)據(jù)。2)PASCAL VOC 2012數(shù)據(jù)集的圖像包含20種類別的物體和1個(gè)背景類別，語義分割數(shù)據(jù)集包含訓(xùn)練集(1464張圖像)、驗(yàn)證集(1449張圖像)和測試集(1456張圖像)3個(gè)部分，其中，驗(yàn)證集和測試集不包含訓(xùn)練集的圖像。

訓(xùn)練：使用Tensorflow框架實(shí)現(xiàn)圖1的網(wǎng)絡(luò)的結(jié)構(gòu)，整個(gè)網(wǎng)絡(luò)是端到端的結(jié)構(gòu)，輸入圖片的尺寸均是513×513，輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，實(shí)驗(yàn)使用經(jīng)過ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的Aligned Xception網(wǎng)絡(luò)進(jìn)行初始化網(wǎng)絡(luò)參數(shù)，基礎(chǔ)學(xué)習(xí)率設(shè)置為0.000 1，動量(momentum)設(shè)置為0.9，權(quán)重衰減率設(shè)置為0.000 04，采用反向傳播和隨機(jī)梯度下降來計(jì)算誤差和更新參數(shù)。

評價(jià)指標(biāo)：為了評價(jià)圖像語義分割算法的分割精度，本文采用平均交疊率(Mean Intersection Over Union,MIOU)進(jìn)行衡量和對比。MIOU通過計(jì)算每一類真實(shí)標(biāo)記和預(yù)測標(biāo)記交集與它們并集的比值的平均值作為評估標(biāo)準(zhǔn)，目前研究者主要采用MIOU評估分割模型的性能[20]。假設(shè)總共有C類語義標(biāo)簽，nij表示真實(shí)語義類別為i但是被預(yù)測為j的像素個(gè)數(shù)，i,j=0,1，…，C-1,ti表示真實(shí)語義類別為i的像素個(gè)數(shù)，則有以下計(jì)算公式：

2.2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證所提方法的可行性，將MsffNet分別與多個(gè)圖像語義分割方法進(jìn)行比較，如FCN8s、SegNet、DilatedNet、PSPNet[21]、DeepLabv3+。表2中所示為不同網(wǎng)絡(luò)模型在ADE20K和PASCAL VOC2012的測試集上的語義分割結(jié)果對比。

表2 ADE20K和PASCAL VOC2012測試集上實(shí)驗(yàn)結(jié)果對比Table 2 Comparison of experimental results on ADE20K and PASCAL VOC2012 test sets

ADE20K和PASCAL VOC2012數(shù)據(jù)集的分割結(jié)果表明：MsffNet整體的性能更優(yōu)異，平均交疊率更高。與DeepLab v3+相比，ADE20K的平均交疊率提高了1.12% ，PASCAL VOC2012的平均交疊率提高了1.55%，這主要?dú)w功于多層級多尺度特征的融合和對融合特征的細(xì)化處理，有效降低了不同類型特征的之間的差異性，提高了準(zhǔn)確度。

圖5為DeepLab v3+和MsffNet模型的平均識別準(zhǔn)確率隨迭代次數(shù)改變而變化的圖，從圖中看出，隨著訓(xùn)練迭代次數(shù)的增加，圖像語義分割精度也在不斷提高，訓(xùn)練ADE20K數(shù)據(jù)集時(shí)，當(dāng)?shù)螖?shù)為3000次，MsffNet的準(zhǔn)確率為34.43%超過DeepLab v3+的準(zhǔn)確率25.68%，當(dāng)?shù)?xùn)練到30 000次時(shí)DeepLab v3+的準(zhǔn)確率為44.47%，而MsffNet的準(zhǔn)確率為43.65%。訓(xùn)練PASCAL VOC2012數(shù)據(jù)集時(shí)，當(dāng)?shù)螖?shù)為3 000次，MsffNet的準(zhǔn)確率為75.45%大大超過DeepLab v3+的準(zhǔn)確率68.87%，當(dāng)?shù)?xùn)練30 000次后準(zhǔn)確率變化平緩，趨于收斂，其中DeepLab v3+的準(zhǔn)確率為81.03%，而MsffNet的準(zhǔn)確率為82.58%。

圖5 訓(xùn)練精度隨迭代次數(shù)變化Figure 5 Training accuracy varies with the number of iterations

當(dāng)訓(xùn)練迭代次數(shù)為30 000時(shí)，使用訓(xùn)練好的MsffNet和Deeplab v3+對PASCAL VOC 2012測試集進(jìn)行分割，分割結(jié)果如圖6， 從上到下依次是原圖、真實(shí)標(biāo)簽圖、DeepLab v3+結(jié)果、MsffNet結(jié)果，比較前三列DeepLab v3+和MsffNet網(wǎng)絡(luò)的分割圖，可以明顯的看出MsffNet分割后的圖像中物體的輪廓更精細(xì)，如第一張圖像中瓶子下半部分輪廓、第二張圖像中自行車前輪輪廓和第三張圖像中牛的后腿輪廓；比較后兩列DeepLab v3+和MsffNet網(wǎng)絡(luò)的分割圖，可以看出MsffNet能準(zhǔn)確辨認(rèn)出沙發(fā)和牛，而DeepLab v3+卻將一個(gè)物體分為兩個(gè)。

圖6 PASCAL VOC2012數(shù)據(jù)集部分分割結(jié)果Figure 6 Partial segmentation results of PASCAL VOC2012 dataset

3 結(jié) 論

本文提出了一種基于多尺度特征融合的圖像語義分割算法(MsffNet)。首先在特征提取階段中采用微調(diào)的Aligned Xception分類識別網(wǎng)絡(luò)提取低層特征，取conv1、conv2和conv3輸出的特征層作為低層特征；其次將conv5輸出的特征通過ASPP獲得具有更大語義信息的高層特征，在特征融合階段中，采用提出的融合算法，由高層往低層逐漸融合鄰近兩個(gè)特征，使高層特征通過語義信息指導(dǎo)有選擇性地融合低層特征，最終實(shí)現(xiàn)圖像的語義分割。實(shí)驗(yàn)結(jié)果表明，本文算法獲得較高的分割精度，傳統(tǒng)的語義分割模型大部分直接對高層特征進(jìn)行上采樣損失了圖像的邊緣細(xì)節(jié)信息，大部分的空間信息會被過多的降維和通道數(shù)增加忽略掉，使得邊緣細(xì)節(jié)模糊。還有部分語義分割模型對低層特征和高層特征直接進(jìn)行通道連接融合，這種做法忽略不同階段特征之間的差異性，容易造成分割目標(biāo)的不一致性，從而降低分割精度。因此本文為了完成多尺度特征融合，提出了一種融合算法和多支路上采樣的多尺度特征融合方式，用來生成更加豐富的語義內(nèi)容。為了對比特征融合效果，在DeepLab v3+完成特征提取的基礎(chǔ)上完成特征融合，采用ADE20K和PASCAL VOC 2012數(shù)據(jù)集進(jìn)行訓(xùn)練，在ADE20K和PASCAL VOC2012 數(shù)據(jù)集上的平均準(zhǔn)確率分別為44.47%和82.58%。當(dāng)前語義分割任務(wù)的實(shí)時(shí)性是一個(gè)亟待解決的問題，本文語義分割網(wǎng)絡(luò)需要進(jìn)一步優(yōu)化和提升，在保證分割準(zhǔn)確率的同時(shí)提升速度。