王漢譜，劉志豪，谷旭軒，廖建英，賀志強(qiáng)，涂 兵，彭怡書(shū)

(湖南理工學(xué)院 a.信息科學(xué)與工程學(xué)院；b.機(jī)器視覺(jué)與人工智能研究中心，湖南 岳陽(yáng) 414006)

圖像語(yǔ)義分割是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究課題，它利用圖像中的語(yǔ)義信息對(duì)每一個(gè)像素進(jìn)行分類(lèi)，是一種高階圖像處理任務(wù)，廣泛應(yīng)用于自動(dòng)駕駛[1]、地理信息系統(tǒng)[2]、智能醫(yī)療影像分析[3]等領(lǐng)域。傳統(tǒng)圖像語(yǔ)義分割方法是根據(jù)圖像色彩、幾何形狀、灰度值等特征，把圖像劃分為多個(gè)互補(bǔ)相交的區(qū)域，將目標(biāo)與背景分類(lèi)，主要包括基于邊緣分割[4]、閾值分割[5]、圖論分割[6]、聚類(lèi)分割[7]等。Alex等[8]提出的AlexNet網(wǎng)絡(luò)在ImageNet大賽上取得優(yōu)異成績(jī)后，基于深度學(xué)習(xí)的方法大幅提升了語(yǔ)義分割性能，全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)[9]通過(guò)不斷地卷積和池化操作對(duì)圖片進(jìn)行特征提取，再利用反卷積層對(duì)最后一層特征圖進(jìn)行上采樣，恢復(fù)到原來(lái)的分辨率，從而實(shí)現(xiàn)像素級(jí)分類(lèi)。然而，數(shù)據(jù)集中一般都存在許多小目標(biāo)和稀少樣本類(lèi)，這些難以學(xué)習(xí)特征的樣本，邊緣細(xì)節(jié)分割困難，盡管FCN增強(qiáng)了物體的分類(lèi)能力，但是圖片空間分辨率的降低也導(dǎo)致了對(duì)小目標(biāo)不敏感和邊緣信息丟失。

為解決上述問(wèn)題，在前端處理方面可以通過(guò)對(duì)樣本重采樣來(lái)改善原始數(shù)據(jù)集使類(lèi)別達(dá)到平衡[10]，但是，根據(jù)先驗(yàn)知識(shí)處理數(shù)據(jù)集使其達(dá)到平衡不僅耗時(shí)，且在后驗(yàn)信息的度量下，會(huì)出現(xiàn)不均勻性。通過(guò)修改損失函數(shù)來(lái)加強(qiáng)對(duì)困難樣本特征的學(xué)習(xí)是一類(lèi)常用的方法，黃慶康等[11]采用一種動(dòng)態(tài)學(xué)習(xí)損失函數(shù)的方式，使得小批量?jī)?nèi)各類(lèi)樣本的損失值得到均衡；楊威等[12]將改進(jìn)后的Focal Loss作為新的損失函數(shù)，緩解了城市景觀數(shù)據(jù)集中樣本不均衡問(wèn)題。還有一類(lèi)方法是通過(guò)特征融合來(lái)提升語(yǔ)義分割的性能，U-Net[13]將預(yù)先訓(xùn)練好的主干卷積模型的低級(jí)和高級(jí)特征結(jié)合起來(lái)以提高語(yǔ)義分割的性能；深度卷積網(wǎng)絡(luò)(Dense Convolutional Networks，DenseNet)[14]則是實(shí)現(xiàn)了各層特征圖的重用來(lái)提升語(yǔ)義分割的性能；ExFuse網(wǎng)絡(luò)[15]在高級(jí)特征中引入更多的空間分辨率信息來(lái)增強(qiáng)小目標(biāo)和邊緣分割。但是，簡(jiǎn)單的特征融合并不能很好地保護(hù)小目標(biāo)的語(yǔ)義信息，因?yàn)樵谔卣魅诤蠒r(shí)，高層特征的通道數(shù)遠(yuǎn)遠(yuǎn)大于低層特征的通道數(shù)，使得高層特征在特征融合時(shí)起著主導(dǎo)作用。DeepLabv3網(wǎng)絡(luò)[16]將語(yǔ)義分割的性能提升到一個(gè)新的高度，本文利用該網(wǎng)絡(luò)獲得多尺度信息的基礎(chǔ)上，將Focal Loss引入替換原來(lái)的交叉熵?fù)p失函數(shù)來(lái)加強(qiáng)邊緣像素點(diǎn)的特征學(xué)習(xí)，為了進(jìn)一步提升小目標(biāo)語(yǔ)義分割的性能，利用GPB/OWT/UCM[17]得到超像素塊，使得小目標(biāo)的語(yǔ)義信息僅由低層特征單獨(dú)決定，從而優(yōu)化小目標(biāo)和邊緣細(xì)節(jié)的分割，最終通過(guò)實(shí)驗(yàn)證實(shí)該方法能夠進(jìn)一步提升語(yǔ)義分割的性能。

1 模型框架

本節(jié)從稀少樣本類(lèi)和小目標(biāo)2個(gè)方面考慮樣本不均衡問(wèn)題。首先描述DeepLabv3網(wǎng)絡(luò)結(jié)構(gòu)，接著引入Focal Loss并對(duì)該損失函數(shù)如何加強(qiáng)困難樣本特征的學(xué)習(xí)進(jìn)行闡述，最后使用GPB/OWT/UCM所得超像素塊作為監(jiān)督，使小目標(biāo)區(qū)域的語(yǔ)義信息僅由低等級(jí)特征去單獨(dú)決定，從而進(jìn)一步優(yōu)化小目標(biāo)分割，并最終進(jìn)一步提升語(yǔ)義分割的性能。

1.1 DeepLabv3網(wǎng)絡(luò)

DeepLabv3網(wǎng)絡(luò)如圖1所示，這是一個(gè)典型的編碼器-解碼器結(jié)構(gòu)。其中編碼器由Backbone和空洞空間金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)模塊2部分組成。在編碼端，使用Resnet101[18]殘差網(wǎng)絡(luò)模型作為Backbone來(lái)進(jìn)行特征提取，首先對(duì)輸入圖片進(jìn)行16倍下采樣，得到特征圖(黃顏色塊表示)，該特征圖經(jīng)過(guò)ASPP模塊，進(jìn)一步提取到多尺度特征圖(不同顏色塊表示)；在解碼端，多尺度特征圖通過(guò)連接和1×1卷積處理得到特征圖(綠顏色塊)，該特征圖與Backbone下采樣通道數(shù)相同，然后通過(guò)上采樣將所得特征圖恢復(fù)到原來(lái)圖像的大小，最后經(jīng)過(guò)分類(lèi)器獲得最終的語(yǔ)義分割結(jié)果。

圖1 DeepLabv3網(wǎng)絡(luò)結(jié)構(gòu)

Resnet101網(wǎng)絡(luò)由多個(gè)殘差塊組成，除激活層和Pooling層外，網(wǎng)絡(luò)共含101個(gè)卷積層，其網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。

表1 Resnet101結(jié)構(gòu)參數(shù)

在實(shí)際訓(xùn)練時(shí)，把表1中的全連接層丟棄，將結(jié)果輸入到空間金字塔空洞池化模塊，所得特征圖通過(guò)上采樣恢復(fù)到原圖分辨率大小。

ASPP模塊是由1個(gè)1×1卷積、3個(gè)3×3采樣率為rates={6,12,18}的空洞卷積[19]和1個(gè)全局平均池化層組成?？斩淳矸e解決了由于下采樣導(dǎo)致圖像分辨率降低、細(xì)節(jié)丟失信息的問(wèn)題，且與VGG[20]網(wǎng)絡(luò)中使用小卷積核疊加，線性增加感受野相比，空洞卷積可以實(shí)現(xiàn)指數(shù)級(jí)增大感受野；全局平均池化模塊則是獲取全局上下文信息。輸入特征圖經(jīng)過(guò)ASPP模塊，在不降低圖像空間分辨率的同時(shí)提取到多尺度信息。不同空洞率的空洞卷積如圖2所示，紅點(diǎn)代表卷積操作后所得有效元素，藍(lán)點(diǎn)填充部分代表中間紅點(diǎn)處感受野的大小。

(a)空洞率為1

1.2 Focal Loss

Focal Loss最初是在目標(biāo)檢測(cè)中提出，用于解決訓(xùn)練過(guò)程中正負(fù)樣本候選框極其不平衡問(wèn)題[21]。其中Focal Loss的公式為：

(1)

式中：σ和γ為超參數(shù)；pt是標(biāo)簽預(yù)測(cè)概率。

語(yǔ)義分割對(duì)應(yīng)類(lèi)別較多，預(yù)測(cè)結(jié)果多為2類(lèi)之間較為相近的情況，其像素點(diǎn)對(duì)應(yīng)的標(biāo)簽概率多為0.3～0.5，解碼器在最后一層上采樣使用雙線性插值法，其預(yù)測(cè)結(jié)果也會(huì)在空間相近的2個(gè)類(lèi)之間。在后續(xù)的研究中，依據(jù)楊威等[12]在Cityscapes數(shù)據(jù)集上Focal Loss權(quán)重參數(shù)的設(shè)置，Pascal Voc 2012數(shù)據(jù)集與Cityscapes數(shù)據(jù)集類(lèi)似，本文通過(guò)對(duì)原來(lái)的交叉熵?fù)p失值加上權(quán)重，同樣設(shè)置σ=2，γ=0.5來(lái)加強(qiáng)對(duì)困難樣本特征的學(xué)習(xí)。

1.3 GPB/OWT/UCM分割算法

采用全局邊界概率(Global Probability of Boundary，GPB)算法計(jì)算每一個(gè)像素作為邊界的可能性，即像素作為邊界的權(quán)重；定向分水嶺變換(Oriented Watershed Transform，OWT)對(duì)傳統(tǒng)分水嶺算法進(jìn)行改進(jìn)，將不連續(xù)的邊界圖連接成具有完整邊界的超像素分割圖，每條邊都賦予表示重要性的權(quán)重；最后采用超度量輪廓圖(Ultrametric Contour Map，UCM)算法，通過(guò)設(shè)置不同的閾值Q，實(shí)現(xiàn)對(duì)區(qū)域貪心合并，使得分割塊大致變成可以用語(yǔ)義去標(biāo)志的區(qū)域，分割結(jié)果如圖3所示。

(a)原圖

本文使用UCM所得超像素塊圖作為監(jiān)督，先對(duì)每個(gè)超像素塊進(jìn)行標(biāo)號(hào)，若像素塊的面積小于給定閾值T時(shí)，則用1表示，否則用0表示，記為監(jiān)督圖U。FL是DeepLabv3網(wǎng)絡(luò)中Backbone所得特征圖經(jīng)過(guò)上采樣所得結(jié)果，F(xiàn)H是ASPP模塊所得特征圖上采樣所得結(jié)果，則最后融合特征圖可通過(guò)式(2)計(jì)算：

FFused=FL⊙U+FH⊙(1-U)。

(2)

式中：⊙代表每個(gè)特征與監(jiān)督信號(hào)的乘積；FFused是最后所得特征圖。將融合特征圖送入分類(lèi)器，確定每個(gè)像素具體類(lèi)別，這樣使得小目標(biāo)區(qū)域的語(yǔ)義信息僅由低等級(jí)特征去決定，從而進(jìn)一步優(yōu)化小目標(biāo)分割。

2 實(shí)驗(yàn)及結(jié)果分析

在Linux下，GNU Octave作為GPB/UCM/OWT算法的編譯和運(yùn)行環(huán)境，得到數(shù)據(jù)集圖片對(duì)應(yīng)的超像素圖；在Windows下使用Mxnet框架搭建深度學(xué)習(xí)網(wǎng)絡(luò)模型，并且在2塊GTX 1080Ti上運(yùn)行改進(jìn)的DeepLabv3網(wǎng)絡(luò)結(jié)構(gòu)。

2.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集為PASCAL VOC 2012[22]，該數(shù)據(jù)集圖片分為20類(lèi)，包括背景類(lèi)共21類(lèi)。這些圖片被分為訓(xùn)練集、測(cè)試集、驗(yàn)證集、增強(qiáng)數(shù)據(jù)集。增強(qiáng)數(shù)據(jù)集用于對(duì)模型進(jìn)行預(yù)訓(xùn)練。一共有1 464張高質(zhì)量像素級(jí)標(biāo)注的圖片用于訓(xùn)練。在訓(xùn)練數(shù)據(jù)集上對(duì)圖片進(jìn)行隨機(jī)裁剪，裁剪尺寸大小為320×480，然后對(duì)其進(jìn)行歸一化操作，最后在驗(yàn)證集上計(jì)算均交并比(Mean Intersection over Union，MIoU)來(lái)驗(yàn)證本文所提出的網(wǎng)絡(luò)模型分割效果。

2.2 數(shù)據(jù)訓(xùn)練設(shè)置

使用隨機(jī)梯度下降算法進(jìn)行訓(xùn)練，批量大小設(shè)置為8，迭代次數(shù)為30×103，學(xué)習(xí)率為10-3，權(quán)重衰減為10-4；UCM算法中閾值Q取0.9；低等級(jí)特征替換的閾值T為32×32。

2.3 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)本文網(wǎng)絡(luò)模型的語(yǔ)義分割效果，對(duì)實(shí)驗(yàn)結(jié)果從主觀和客觀評(píng)價(jià)2個(gè)角度進(jìn)行分析。主觀評(píng)價(jià)中，主要是語(yǔ)義分割結(jié)果小目標(biāo)可視化和稀少樣本邊緣分割情況，客觀評(píng)價(jià)中，使用MIoU作為評(píng)價(jià)指標(biāo)，定義為真實(shí)值(ground truth)和預(yù)測(cè)值(predicted segmentation)的交集和并集之比：

(3)

式中：k表示前景類(lèi)別個(gè)數(shù)；pij表示真實(shí)值為i，被預(yù)測(cè)為j的數(shù)量。

2.4 實(shí)驗(yàn)結(jié)果

本文在沒(méi)有MS-COCO數(shù)據(jù)集預(yù)訓(xùn)練和條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)等后處理的情況下與其他語(yǔ)義分割方法進(jìn)行對(duì)比。如表2所示，以VGG16作為編碼器結(jié)構(gòu)，通過(guò)逐層跳躍連接恢復(fù)對(duì)象邊緣細(xì)節(jié)信息的經(jīng)典FCN網(wǎng)絡(luò)，在Pascal VOC 2012驗(yàn)證數(shù)據(jù)集上MIoU值取得了56.00%，至此，傳統(tǒng)語(yǔ)義分割方法再也無(wú)法與其比較。DeepLabV2中引入空洞卷積，在不降低特征圖分辨率的情況下擴(kuò)大了感受野，MIoU值升至75.20%；MobileNetv2網(wǎng)絡(luò)中使用了深度可分離卷積，在保持精度的同時(shí)提升了語(yǔ)義分割的速度；在單DeepLabv3網(wǎng)絡(luò)中，MIoU值為79.52%，通過(guò)Focal Loss替換原來(lái)交叉熵?fù)p失函數(shù)后，MIoU值升為79.64%。而本文所提出的方法獲得MIoU值為80.23%，進(jìn)一步提升了0.59%，并且優(yōu)于CRF-RNN、MobileNetV2、FastDenseNasarch-0等其他方法。

表2 與其他模型MIoU值的比較 %

圖4為分割結(jié)果MIoU值較高的DeepLabv3，DeepLabv3+Focal Loss以及本文方法在PASCALVOC 2012驗(yàn)證數(shù)據(jù)集上的可視化結(jié)果圖。以第一行飛機(jī)目標(biāo)為例，相比于原始的DeepLabv3網(wǎng)絡(luò)，本文方法優(yōu)化了如紅顏色框圈起的飛機(jī)機(jī)翼部分的分割，對(duì)于像牛這種稀少樣本類(lèi)邊緣細(xì)節(jié)分割也有一些改善，而人這種大類(lèi)目標(biāo)也不會(huì)降低其分割效果。

(a)RGB圖像 (b)DeepLabv3 (c)DeepLabv3+Focal Los (d)本文方法 (e)標(biāo)簽

3 結(jié)語(yǔ)

本文針對(duì)語(yǔ)義分割樣本不均衡導(dǎo)致的小目標(biāo)和邊緣分割困難的問(wèn)題，提出了一種基于DeepLabv3網(wǎng)絡(luò)結(jié)構(gòu)的語(yǔ)義分割模型。該模型以DeepLabv3為基本框架，首先，使用Focal Loss損失函數(shù)替換原來(lái)的交叉熵?fù)p失函數(shù)，加強(qiáng)對(duì)小目標(biāo)和邊緣特征的學(xué)習(xí)；然后引入GPB/OWT/UCM模塊，細(xì)化邊緣分割，提升分割精度，實(shí)驗(yàn)結(jié)果表明本文分割方法能夠獲得較高的語(yǔ)義分割精度。但是，由于無(wú)法考慮單個(gè)像素與全局像素之間的關(guān)系，會(huì)導(dǎo)致分割錯(cuò)誤的情況發(fā)生，下一步將會(huì)著重研究注意力機(jī)制，考慮單個(gè)像素點(diǎn)與全局關(guān)系以減少錯(cuò)分情況，提高分割準(zhǔn)確度。