房龍巖，郭杰，劉佳佳

（1.皖北煤電集團(tuán)有限責(zé)任公司，安徽宿州 234002；2.安徽恒源煤電股份有限公司，安徽宿州 234002）

遙感是地球資源變化監(jiān)測(cè)與管理過(guò)程中不可或缺的技術(shù)手段，然而，在衛(wèi)星獲取影像的過(guò)程中并不是每天都是晴空萬(wàn)里，往往伴隨著大量云霧的遮擋，以至于影像部分區(qū)域信息丟失，給后續(xù)的遙感影像分析解譯帶來(lái)了困難[1-2]。所以，云檢測(cè)對(duì)于光學(xué)衛(wèi)星遙感具有重要意義。

在近些年來(lái)，學(xué)者們研究了多種云檢測(cè)方法。其可以分為兩類：基于波段閾值方法[3]與基于深度學(xué)習(xí)的云檢測(cè)方法[4]。

傳統(tǒng)的云檢測(cè)方法有文獻(xiàn)[3]提出了FMask算法，通過(guò)設(shè)定波段閾值來(lái)實(shí)現(xiàn)Landsat影像的云檢測(cè)。然而國(guó)產(chǎn)高分辨率衛(wèi)星的波段數(shù)少缺少熱紅外波段，難以通過(guò)光譜信息來(lái)進(jìn)行云檢測(cè)，所以文獻(xiàn)[5]中基于多時(shí)相云在紅外波段的反射特性的云檢測(cè)方法不適合國(guó)產(chǎn)衛(wèi)星的云檢測(cè)。隨著深度學(xué)習(xí)的發(fā)展，語(yǔ)義分割技術(shù)的不斷進(jìn)步，其也逐漸應(yīng)用于云檢測(cè)上來(lái)。文獻(xiàn)[6]將雙重注意機(jī)制模型與全卷積神經(jīng)網(wǎng)絡(luò)模型相對(duì)比，發(fā)現(xiàn)雙重注意力機(jī)制模型用于云檢測(cè)更為準(zhǔn)確。文獻(xiàn)[7]對(duì)Unet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，編碼器與殘差結(jié)構(gòu)相結(jié)合，提高了模型的泛化能力，比傳統(tǒng)的Unet模型檢測(cè)精度更優(yōu)。文獻(xiàn)[8]解碼器不僅在Unet模型的編碼器中引入殘差模塊，而且在解碼器中融入密集連接模塊，可以很好地檢測(cè)出大量薄量的薄云碎云。

基于上述研究，本文提出一種基于改進(jìn)的DLinkNet模型的國(guó)產(chǎn)高分辨率衛(wèi)星云檢測(cè)方法。在原始DLinkNet的基礎(chǔ)上，使用拆分注意力網(wǎng)絡(luò)ResNeSt作為backbone替換原始的ResNet，并對(duì)損失函數(shù)進(jìn)行加權(quán)，只使用交叉熵?fù)p失作為損失函數(shù)，最后使用條件隨機(jī)場(chǎng)進(jìn)行后處理，在國(guó)產(chǎn)衛(wèi)星的云檢測(cè)方面，較原始的DLinkNet網(wǎng)絡(luò)結(jié)構(gòu)有明顯提高。

1 原理與方法

1.1 云檢測(cè)模型

1.1.1 DLinkNeSt網(wǎng)絡(luò)模型

DLinkNet模型[9]是在LinkNet模型的基礎(chǔ)上，在編碼器與解碼器之間添加了空洞卷積模塊（dilate block），增大了對(duì)特征圖的感受野，感受野越大，能夠捕獲原始圖像上的圖像特征就越多[10]。

在DLinkNet模型的基礎(chǔ)上，受到SENet[11]、SKNet[12]兩大注意力機(jī)制，ResNeXt[13]及ResNeSt[14]兩個(gè)backbone的啟發(fā)，本文提出了包含拆分注意力機(jī)制網(wǎng)絡(luò)的DLinkNeSt模型，其模型結(jié)構(gòu)如圖1所示。

圖1 DLinkNeSt網(wǎng)絡(luò)結(jié)構(gòu)

DLinkNeSt結(jié)構(gòu)沿用了DLinkNet模型的編碼解碼思想，拆分注意力殘差模塊為在通道維進(jìn)行拆分成多個(gè)模塊化的小組，分別通過(guò)注意力模塊，最后合并得到特征圖，可以更好地檢測(cè)影像的深度特征。

中間的DBlock結(jié)構(gòu)如圖2所示。其中箭頭內(nèi)的數(shù)字表示擴(kuò)張率（dilated rate）。即分別使用擴(kuò)張率為1、2、4、8、16的空洞卷積結(jié)構(gòu)級(jí)聯(lián)，以達(dá)到在不改變特征圖分辨率的情況下，增大感受野。

圖2 DBlock結(jié)構(gòu)

1.1.2 殘差模塊

DLinkNet中使用的殘差模塊為ResNet，將原始輸入與輸出相加，使模型在反向傳播過(guò)程中減少了梯度爆炸與消散的現(xiàn)象，可以訓(xùn)練出更深的網(wǎng)絡(luò)結(jié)構(gòu)。其模型結(jié)構(gòu)如圖3所示，公式可描述為：

圖3 ResNet-Block

然而，本文所使用的殘差模塊為ResNeSt-Block，其模型結(jié)構(gòu)如圖4所示。ResNeSt又被稱為拆分注意力網(wǎng)絡(luò)，借鑒了ResNeXt的使用拆分合并采用組卷積，將Multi-path結(jié)構(gòu)轉(zhuǎn)換為統(tǒng)一操作。借鑒了SENet結(jié)構(gòu)的通道注意力模塊，及SKNet的特征圖注意力（Feature-map Attention）。

圖4 ResNeSt Block結(jié)構(gòu)

1.1.3 加權(quán)的損失函數(shù)

這里采用的損失函數(shù)是在DLinkNet的損失函數(shù)基礎(chǔ)上，使用加權(quán)的方式測(cè)試各為多少權(quán)重可以達(dá)到最好的效果。

DLinkNet的損失函數(shù)如下，其中公式（7）為最后的損失函數(shù)。

公式中GT表示標(biāo)簽影像，P表示預(yù)測(cè)影像，N為批大小，W表示影像的寬度，H為高度，gtij為在i,j位置的像素值，pij為在i,j位置的像素值。

在此，對(duì)Dice與BCE兩個(gè)損失函數(shù)進(jìn)行加權(quán)操作。加權(quán)的DBLoss數(shù)學(xué)表達(dá)式如下：

其中λ與γ之比為DBLoss的權(quán)值。

1.2 條件隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)最早由Lafferty等[15]在最大熵模型及馬爾科夫模型的基礎(chǔ)上提出來(lái)的一種無(wú)向概率圖模型，用于標(biāo)注和分割有序數(shù)據(jù)的條件概率模型。條件隨機(jī)場(chǎng)如圖5所示。

圖5 條件隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)符合吉布斯分布:

式(9)中，Z(X)表示歸一化常數(shù)，如公式；C為所有基團(tuán)c的集合；ψ為基團(tuán)c的勢(shì)函數(shù)；Yc={Yi，i∈c}，Yi為像素i的類別標(biāo)簽。

其中，y所對(duì)應(yīng)的Gibbs能量函數(shù)為：

首先，使用訓(xùn)練出來(lái)的模型對(duì)原始影像進(jìn)行預(yù)測(cè)，其次，將原始影像與預(yù)測(cè)出來(lái)的標(biāo)簽輸入條件隨機(jī)場(chǎng)中，使用原始影像上的像素作為X，預(yù)測(cè)出來(lái)的標(biāo)簽作為Y，得到經(jīng)過(guò)后處理的云檢測(cè)標(biāo)簽結(jié)果。

1.3 評(píng)價(jià)指標(biāo)

這里選取的指標(biāo)為平均交并比（mIou）、召回率（recall）以及準(zhǔn)確率（precision）。其計(jì)算方式如下：

公式中的A表示原本為云預(yù)測(cè)為云的數(shù)量，B表示原本為云預(yù)測(cè)為非云的數(shù)量，C表示原本為非云錯(cuò)預(yù)測(cè)為非云的數(shù)量，三個(gè)指標(biāo)越高表示精度越高。

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)準(zhǔn)備與參數(shù)設(shè)置

本文的試驗(yàn)均在ubantu16.04，CUDA 10.1，NVIDIA UNIX 64核的PyTorch 1.2.0深度學(xué)習(xí)框架下進(jìn)行。

訓(xùn)練之前，首先經(jīng)過(guò)預(yù)處理，進(jìn)行影像數(shù)據(jù)的擴(kuò)充，方法有：色彩抖動(dòng)、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、隨機(jī)裁剪、旋轉(zhuǎn)等。預(yù)處理的目的是擴(kuò)充數(shù)據(jù)量，對(duì)數(shù)據(jù)進(jìn)行增廣，防止過(guò)擬合，提高模型的泛化能力。

參數(shù)設(shè)置。隨機(jī)裁剪的大小為512×512，batchsize為4，使用的優(yōu)化器為Adam，初始學(xué)習(xí)率為0.001，自動(dòng)調(diào)整學(xué)習(xí)率，每次調(diào)整變?yōu)樵瓉?lái)的1/2，直到損失值7次不再下降為止。

2.2 云檢測(cè)結(jié)果分析

分別設(shè)置DiceLoss與BCELoss的比值分別為1:1、1:0、0:1進(jìn)行測(cè)試的DlinkNeSt模型在測(cè)試集上的精度指標(biāo)，如表1所示。從表1中可以看出，只使用Dice損失的精度最小。其中0:1表示，只是用BCE損失。發(fā)現(xiàn)只用BCE損失得到的模型平均交并比與準(zhǔn)確率都達(dá)到最高。

表1 損失函數(shù)權(quán)值對(duì)模型精度的影響

試驗(yàn)分別使用DLinkNet50、DLinkNeSt50及BCEDLinkNeSt50（即只是用BCE損失函數(shù)的DLinkNeSt）進(jìn)行測(cè)試。選取的評(píng)價(jià)指標(biāo)為平均交并比（mIoU）、召回率（recall）及精確率（precision）對(duì)模型進(jìn)行評(píng)價(jià)。訓(xùn)練集上的評(píng)價(jià)指標(biāo)結(jié)果如表2所示。

表2 訓(xùn)練集上的不同模型評(píng)價(jià)結(jié)果

?

在測(cè)試集上的評(píng)價(jià)指標(biāo)結(jié)果如表3所示。

表3 測(cè)試集上的不同模型評(píng)價(jià)結(jié)果

從表2中可以看出，在訓(xùn)練集上，本文算法除召回率上略小于DLinkNeSt50算法，精確率及交并比均為最大。從表3中可以看出，在測(cè)試集上，本文算法除在精確率上略小于DLinkNeSt50算法，召回率及交并比均為最大。盡管有兩項(xiàng)指標(biāo)沒(méi)有達(dá)到最優(yōu)，但是仍然大大優(yōu)于原始的DLinkNet50算法。

對(duì)測(cè)試集上的原始影像預(yù)測(cè)，預(yù)測(cè)策略為先將原始影像按照順序裁切為512×512大小的影像，然后使用訓(xùn)練好的云檢測(cè)模型進(jìn)行預(yù)測(cè)，最后將云檢測(cè)結(jié)果按照裁切的順序進(jìn)行拼接。從云檢測(cè)結(jié)果對(duì)比圖中，將圖6的結(jié)果a1到f1對(duì)比，發(fā)現(xiàn)紅色橢圓框中的云e1與f1均檢測(cè)出了原始云的位置，并且f1還將該處云的范圍還原出來(lái)。將圖6中的a2到f2進(jìn)行對(duì)比，發(fā)現(xiàn)紅色矩形框中的薄云，DLinkNet預(yù)測(cè)精度較差，BCE-DLinkNeSt算法預(yù)測(cè)精度較高，CRF-BCE-DLinkNeSt算法在BCEDLinkNeSt的基礎(chǔ)上保持了薄云的邊緣。所以BCEDLinkNeSt50不論是定性判斷，還是通過(guò)指標(biāo)定量分析，均優(yōu)于DLinkNet50與DLinkNeSt50。

圖6 云檢測(cè)結(jié)果對(duì)比圖

3 結(jié)論

針對(duì)國(guó)產(chǎn)部分衛(wèi)星影像不能使用傳統(tǒng)的基于閾值的方法檢測(cè)云，以及當(dāng)前深度學(xué)習(xí)算法檢測(cè)云的精度低，誤檢率高的問(wèn)題，本文提出了基于改進(jìn)的DLinkNet模型的國(guó)產(chǎn)衛(wèi)星影像云檢測(cè)方法。本文的主要?jiǎng)?chuàng)新點(diǎn)如下：

（1）在原始的DLinkNet50的基礎(chǔ)上，使用ResNeSt模型替換原始的ResNet模型作為編碼器結(jié)構(gòu)，從而可以提取到更多的語(yǔ)義信息。

（2）損失函數(shù)上，對(duì)BCELoss與DiceLoss加權(quán)，提出了BCE-DLinkNeSt云檢測(cè)算法。

（3）對(duì)原始的BCE-DLinkNet進(jìn)行后處理，提出CRF-BCEDLinkNeSt算法，從而更好地保留了云邊緣。

使用人工勾云樣本，發(fā)現(xiàn)本方法在云檢測(cè)方面優(yōu)于原始的結(jié)構(gòu)，提高了云檢測(cè)的精度，可以輔助人工勾云使用。