袁偉，許文波，周甜

1. 成都大學(xué) 建筑與土木工程學(xué)院，成都 610106 2. 電子科技大學(xué) 資源與環(huán)境學(xué)院，成都 610097

1 引言

道路在人們生產(chǎn)和生活中是不可缺少的要素，如導(dǎo)航、電子地圖、城市規(guī)劃等。在測繪領(lǐng)域中，道路是地理信息數(shù)據(jù)的主要內(nèi)容之一。雖然從遙感圖像上采集道路信息，已經(jīng)可以滿足大多數(shù)應(yīng)用的需求，但道路的數(shù)據(jù)采集工作非常繁重，于是不少學(xué)者嘗試從遙感影像上自動(dòng)提取道路。之前的分割算法，多是利用光譜的特征，輔以形態(tài)學(xué)算法，再選取適當(dāng)?shù)拈撝祦矸指畹缆?。如Ribbon Snake算法在遙感影像上分割道路[1]，文獻(xiàn)[2-3]利用形態(tài)學(xué)算法分割遙感影像上的道路。文獻(xiàn)[4]利用歸一化水指數(shù)(NDWI)和歸一化差分植被指數(shù)(DNVI)獲得道路潛在區(qū)域，再依據(jù)道路光譜特征分割，以形態(tài)學(xué)開、閉運(yùn)算進(jìn)行優(yōu)化。文獻(xiàn)[5]提出一種融合馬爾可夫隨機(jī)場分割與數(shù)學(xué)形態(tài)學(xué)處理的高分辨率SAR圖像道路提取算法。這些方法普遍存在分割精度低、閾值難以確定的缺點(diǎn)。

隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)和發(fā)展，不少研究將深度學(xué)習(xí)技術(shù)應(yīng)用到遙感影像道路分割上，取得了一定的進(jìn)展。文獻(xiàn)[6]基于SegNet網(wǎng)絡(luò)和ELU激活單元，提升了道路分割效果。文獻(xiàn)[7]將樣本標(biāo)簽附近的像素在交叉熵中的權(quán)重加強(qiáng)，以提高道路的識(shí)別正確率。文獻(xiàn)[8]將UNet網(wǎng)絡(luò)預(yù)測的圖像用條件隨機(jī)場進(jìn)行后處理來提高精度。文獻(xiàn)[9]針對(duì)道路特征較簡單的特點(diǎn)，簡化了UNet，并針對(duì)道路與背景比例相差大的問題，在交叉熵?fù)p失函數(shù)中附加權(quán)重系統(tǒng)來平衡。文獻(xiàn)[10]將UNet改進(jìn)為雙UNet,同時(shí)將網(wǎng)絡(luò)預(yù)測的圖像用形態(tài)學(xué)做后處理。文獻(xiàn)[11]改進(jìn)了PSPNet網(wǎng)絡(luò)，并將坡度，坡向，數(shù)字高程信息與光譜信息一同訓(xùn)練，取得了不錯(cuò)的效果。文獻(xiàn)[12]將道路看成是有方向的，并設(shè)計(jì)了方向損失函數(shù)來提升道路的連通效果。

以上用于道路分割的深度學(xué)習(xí)網(wǎng)絡(luò)都是通用方法，也可以用來分割房屋等其他地物，并未考慮道路的獨(dú)特性，雖說有學(xué)者將形態(tài)學(xué)應(yīng)用到道路的提取中，但多作為預(yù)處理或后處理優(yōu)化深度學(xué)習(xí)的預(yù)測結(jié)果，并未作用于深度學(xué)習(xí)網(wǎng)絡(luò)。文獻(xiàn)[12]的方向損失函數(shù)雖說是直接作用于深度學(xué)習(xí)網(wǎng)絡(luò)，但是要求標(biāo)注是矢量的，且計(jì)算復(fù)雜。鑒于道路與房屋等塊狀地物不同，呈現(xiàn)出相互連通的線狀形態(tài)，本文提出一種深度學(xué)習(xí)網(wǎng)絡(luò)的形態(tài)損失函數(shù)來改善分割效果。

2 形態(tài)損失函數(shù)

交叉熵?fù)p失函數(shù)是現(xiàn)使用最多的損失函數(shù)，

CrossEntropyLoss=

(1)

線性度損失如圖1所示。因?yàn)榈缆肥蔷€形的，而且道路之間總是連通的，幾乎不可能出現(xiàn)圖1(a)白色區(qū)域所示的孤立塊狀的情況，所以可以使用線形程度作為深度學(xué)習(xí)的損失函數(shù)，讓深度學(xué)習(xí)模型預(yù)測的結(jié)果盡可能呈現(xiàn)線形形狀，且線形程度越高，損失函數(shù)值越小，反之損失函數(shù)值越大。

要衡量道路的線形程度，可以采用道路面積與外接矩形面積的比值這一指標(biāo)。道路面積代表道路的實(shí)際范圍，外接矩形面積代表道路所涉及的區(qū)域大小，如圖1中的紅色矩形所示。損失值

圖1 形態(tài)損失示意Fig.1 Schematic diagram of morphological loss

(2)

式中：Aroad為道路實(shí)際面積，可通過像素個(gè)數(shù)計(jì)算；Arectangle為外接矩形面積，可通過像素的最大行、最小行、最大列、最小列位置計(jì)算。

使用道路面積與外接矩形面積的比例這一指標(biāo)，最大的問題在于同一形狀的道路隨著旋轉(zhuǎn)角度的不同，外接矩形面積會(huì)發(fā)生變化，如圖1(b)(c)中的紅色矩形所示。為了克服同一形狀的道路旋轉(zhuǎn)角度不同帶來的指標(biāo)變化這一現(xiàn)象，本文提出道路面積與外接圓面積的比值這一指標(biāo)，命名為形態(tài)損失，

(3)

式中:Aroad為道路實(shí)際面積;Acircle為外接圓面積。道路如果表現(xiàn)為塊狀，如圖1(a)所示，那么其面積與外接圓面積的比值將向1靠近。如果道路表現(xiàn)為線形形狀，如圖1(b)(c)所示，那么其面積與外接圓面積的比值將向0靠近。

由于一幅遙感圖像預(yù)測的結(jié)果可能是多條彼此分離的道路，盡管實(shí)際上它們應(yīng)該是相互聯(lián)通的。所以，首先將批次的預(yù)測結(jié)果通過形態(tài)學(xué)中的連通性算法劃分為m個(gè)相互分離的連通區(qū)域，分別計(jì)算每個(gè)區(qū)域的形態(tài)損失，最后取平均值作為批形態(tài)損失，再與交叉熵按一定的權(quán)重加和作為最終的損失值。最終損失和形態(tài)損失為

(4)

式中：K為形態(tài)損失ShapeLoss的權(quán)重。

3 UNet++網(wǎng)絡(luò)和SegNet網(wǎng)絡(luò)

UNet++[13]是在UNet[14]的基礎(chǔ)上發(fā)展而來，UNet結(jié)構(gòu)如圖2所示。輸入圖像大小為572×572×1像素,經(jīng)過兩次3×3的卷積后變?yōu)橥ǖ罃?shù)為64的矩陣，接著進(jìn)行2×2的最大池化操作，圖像長寬減小為原來的一半，這樣完成了第1次下采樣。依照相同的過程，做4次下采樣之后，圖像變?yōu)?2×32×512的矩陣，再經(jīng)過2次3×3的卷積操作得到最終的特征圖。上采樣是2×2的反卷積，然后與同一層的下采樣特征圖進(jìn)行拼接，再經(jīng)過2次3×3的卷積操作完成第1次上采樣。依照相同的過程，做4次上采樣之后得到388×388×64的圖像，再經(jīng)過一次3×3的卷積操作，變?yōu)?88×388×2的圖像(這里假設(shè)為二分類)即為推理結(jié)果。

圖2 UNet網(wǎng)絡(luò)Fig.2 UNet network

在實(shí)際應(yīng)用中，并不是對(duì)所有的數(shù)據(jù)都是下采樣4次為最優(yōu)。對(duì)于有些數(shù)據(jù)來說，4次下采樣提取的特征還不夠，而對(duì)于另一些數(shù)據(jù)來說，4次下采樣卻已冗余。為了解決這個(gè)問題，Zhou等[13]提出一個(gè)由多個(gè)深度不同的UNet分支共享同一下采樣編碼過程的UNet++網(wǎng)絡(luò)，如圖3所示。圖3中向下的實(shí)線箭頭代表最大值池化的下采樣編碼過程，向上的實(shí)線箭頭代表反卷積的上采樣解碼過程，虛線箭頭代表的是將兩個(gè)結(jié)果融合連接在一起。每一個(gè)Xi,j代表的2次3×3的卷積。

圖3 UNet++網(wǎng)絡(luò)Fig.3 UNet++ network

UNet++借鑒了DenseNet[15]的結(jié)構(gòu)，每次上采樣的結(jié)果都與同一層的所有更淺的UNet網(wǎng)絡(luò)分支相融合，有效增強(qiáng)了特征的提取能力。但這樣做的結(jié)果導(dǎo)致參數(shù)增加，反向更新參數(shù)難度加大，所需的計(jì)算資源也相應(yīng)增加。為了解決梯度回傳的問題，采用深監(jiān)督的方法，對(duì)每個(gè)分支都計(jì)算一個(gè)Loss，然后取平均值作為總的Loss。

SegNet[16]網(wǎng)絡(luò)是一種類似UNet的深度學(xué)習(xí)網(wǎng)絡(luò)，結(jié)構(gòu)如圖4所示。其本質(zhì)上與UNet類似，都是經(jīng)過3次卷積運(yùn)算后，進(jìn)行1次池化操作，將圖像進(jìn)行下采樣，4次下采樣之后，進(jìn)行上采樣操作，直到輸出圖像大小與輸入尺寸相同。不同之處在于，UNet使用的是雙線性插值上采樣，而SegNet是在下采樣過程中記下了池化的索引，在上采樣時(shí)將像素值填充到對(duì)應(yīng)的索引位置，其余位置以0補(bǔ)充。

圖4 SegNet網(wǎng)絡(luò)結(jié)構(gòu)[16]Fig.4 SegNet network[16]

4 試驗(yàn)數(shù)據(jù)預(yù)處理及評(píng)價(jià)指標(biāo)

4.1 數(shù)據(jù)集

采用MassachusettsRoads Dataset[17]數(shù)據(jù)集作為試驗(yàn)數(shù)據(jù)。共有1 108幅訓(xùn)練影像、14幅驗(yàn)證影像、49幅測試影像，以及對(duì)應(yīng)的標(biāo)注影像，數(shù)據(jù)格式為tiff，通道數(shù)為3，大小為1 500×1 500像素，空間分辨率為 1 m。

本次試驗(yàn)不做驗(yàn)證，因此將驗(yàn)證影像和測試影像合并為測試數(shù)據(jù)，共63幅。由于計(jì)算機(jī)處理能力的限制，將每幅影像裁剪為512×512像素。因原始數(shù)據(jù)中無影像部分值為255，為了保持一致，所以不足的部分以255補(bǔ)充，最后保存為24位的jpg圖片。標(biāo)注影像按相同的方法裁剪，并轉(zhuǎn)換為8位的灰度圖像。為了損失函數(shù)計(jì)算方便，將道路部分的值設(shè)為1，背景值為0。共得到9 972幅訓(xùn)練數(shù)據(jù)和567幅測試數(shù)據(jù)。

4.2 評(píng)價(jià)指標(biāo)

為了更客觀地驗(yàn)證本文方法的優(yōu)勢，采用平均交并比(MIoU)、準(zhǔn)確度(ACC)、F1-Score三個(gè)評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比分析。

平均交并比MIoU為

(5)

準(zhǔn)確度ACC的計(jì)算公式為：

(6)

F1-Score的計(jì)算公式為：

(7)

其中Precision的計(jì)算公式為：

(8)

而Recall的計(jì)算公式為：

(9)

式中：c為前景分類數(shù)量，加上背景總共為c+1類，本文c取1；TP為真正，表示正確分為道路的像素個(gè)數(shù)；FP為假正，表示背景被分為道路的像素個(gè)數(shù)；TN為真負(fù)，表示正確分為背景的像素個(gè)數(shù)；FN為假負(fù)，表示道路被誤分為背景的像素個(gè)數(shù)。式(5)先將背景和道路分別作為正樣本求出評(píng)價(jià)指標(biāo)后，再取平均值便可得到所有類的平均評(píng)價(jià)指標(biāo)。其余式(6)～(9)中正樣本為道路。

5 試驗(yàn)和結(jié)果分析

本文試驗(yàn)的硬件環(huán)境為：CPU Intel I5-9400F，內(nèi)存8G，顯卡NVIDIA GeForce RTX 2060 Super 8G，GPU 加速庫采用 CUDA10.0。深度學(xué)習(xí)框架是TensorFlow和官方的高級(jí)封裝庫Estimator。

深度學(xué)習(xí)模型采用最新的UNet++網(wǎng)絡(luò)，采用AdamOptimizer 算法[18]尋找最優(yōu)解，學(xué)習(xí)率為0.0001。此外，對(duì)權(quán)重采用L2正則化[19]，以防止過擬合，提高泛化能力?？偟膿p失為預(yù)測結(jié)果與真實(shí)標(biāo)簽的交叉熵CrossEntropyLoss加上L2正則化結(jié)果,再加上0.1倍的形態(tài)損失：

(10)

式中：w為深度學(xué)習(xí)網(wǎng)絡(luò)的所有權(quán)重。迭代訓(xùn)練周期epoch最大值為100，每個(gè)epoch之后在測試集上進(jìn)行評(píng)估，若連續(xù)10個(gè)epoch的評(píng)價(jià)指標(biāo)MIoU都不再升高，則采用文獻(xiàn)[20]中提前終止模型訓(xùn)練的策略(Early Stopping)結(jié)束模型訓(xùn)練。

從測試集的預(yù)測圖來看，附加了形態(tài)損失函數(shù)的預(yù)測結(jié)果要好于沒有附加的結(jié)果，如圖5和圖6所示。附加了形態(tài)損失之后，輸出的道路更為連續(xù)，在路口斷開的現(xiàn)象明顯好轉(zhuǎn)，如第1行所示。在道路中間，由于衛(wèi)星圖像上可能存在車輛或者樹木遮擋路面的情況，沒有附加形態(tài)損失時(shí)，道路會(huì)出現(xiàn)斷開的現(xiàn)象，而附加形態(tài)損失之后，這類現(xiàn)象有明顯的改善，如第2～4行所示。

圖5 UNet++附加形態(tài)損失函數(shù)前后的預(yù)測結(jié)果對(duì)比Fig. 5 Comparison of prediction results before and after the addition of morphological loss function by UNet++

圖6 SegNet附加形態(tài)損失函數(shù)前后的預(yù)測結(jié)果對(duì)比Fig. 6 Comparison of prediction results before and after the addition of morphological loss function by SegNet

從表1的評(píng)價(jià)指標(biāo)上來看，UNet++附加形態(tài)損失之后，MIoU提升了1.3%，F(xiàn)1-score提升了2.6%，ACC也提升了0.1%。而SegNet模型附加形態(tài)損失之后，MIoU提升了1%，F(xiàn)1-score提升了2.2%，ACC雖說未提高，但也并無明顯的降低。

表1 附加形態(tài)損失函數(shù)前后的評(píng)價(jià)指標(biāo)對(duì)比

附加形態(tài)損失之后，雖然評(píng)價(jià)指標(biāo)有所提高，但是并未達(dá)到圖5那么明顯的效果。其原因在于，有些預(yù)測出的道路并未在真實(shí)標(biāo)簽中，但是從人的角度判斷應(yīng)該是屬于道路，尤其是通往房屋的小路尤其明顯，如圖7圓圈部分所示。這些情況會(huì)被認(rèn)為是誤判，導(dǎo)致了評(píng)價(jià)指標(biāo)有所降低，從某種角度來說，可以認(rèn)為是數(shù)據(jù)標(biāo)注的精度不夠準(zhǔn)確所致，并非是分割方法的原因。

圖7 部分有爭議的誤判結(jié)果Fig.7 Some controversial misjudgments

6 結(jié)論

本文針對(duì)遙感影像中的道路呈線形形狀的特點(diǎn)，提出了一種基于形態(tài)學(xué)的深度學(xué)習(xí)網(wǎng)絡(luò)的形態(tài)損失函數(shù)。在Massachusetts Roads Dataset數(shù)據(jù)集上，將UNet++和SegNet網(wǎng)絡(luò)與附加了形態(tài)損失函數(shù)前后作對(duì)比試驗(yàn)。結(jié)果表明，附加了本文提出的形態(tài)損失函數(shù)，道路的連續(xù)性大大增強(qiáng)，尤其是在路口，未附加形態(tài)損失函數(shù)時(shí)多是斷開形態(tài)，而附加了形態(tài)損失函數(shù)后多是連續(xù)形態(tài)；從評(píng)價(jià)指標(biāo)來看，UNet++附加形態(tài)損失之后，MIoU提升了1.3%，F(xiàn)1-Score提升了2.6%，ACC也提升了0.1%。而SegNet模型附加形態(tài)損失之后，MIoU提升了1%，F(xiàn)1-score提升了2.2%，ACC雖未提高，但也并無明顯的降低。同時(shí)，本文發(fā)現(xiàn)附加了形態(tài)損失函數(shù)后，對(duì)于一些未標(biāo)注的道路也能很好地識(shí)別，從而形成了偽誤判，如果標(biāo)注數(shù)據(jù)的精度更高，實(shí)質(zhì)上各項(xiàng)指標(biāo)的提升應(yīng)該更顯明。因此，本文提出的形態(tài)損失函數(shù)在遙感影像中道路的語義分割方面有顯著作用。

方法中有一個(gè)超參數(shù)K，下一步的研究重點(diǎn)是如何自動(dòng)確定K值。