張廣斌，高賢君,2，冉樹浩，楊元維,3,4，李麗珊，張 妍

1. 長江大學(xué)地球科學(xué)學(xué)院，湖北 武漢 430100; 2. 自然資源部環(huán)鄱陽湖區(qū)域礦山環(huán)境監(jiān)測與治理重點實驗室，江西 南昌 330013; 3. 湖南科技大學(xué)測繪遙感信息工程湖南省重點實驗室, 湖南 湘潭 411201; 4. 城市空間信息工程北京市重點實驗室, 北京 100045

遙感衛(wèi)星通過長時間對地觀測記錄表征地表信息，對農(nóng)業(yè)、氣象、人文及環(huán)境等研究具有重要意義[1]。然而，年均約66%的地表會被云層覆蓋[2]，云會模糊甚至遮擋地面目標(biāo)，嚴(yán)重限制光學(xué)衛(wèi)星影像的利用[3]。因此，在多數(shù)遙感影像的處理中，精確的云檢測工作是不可或缺的。然而，在高海拔、高緯度地區(qū)或是冬季的云檢測任務(wù)中，下墊面中具有相似反射特征和局部紋理的雪將會成為主要噪聲源干擾云檢測結(jié)果[4]。這使得在云雪共存區(qū)域開展高效且精確的云檢測工作具有重要的研究價值。

多年來，研究者已經(jīng)提出了多種云檢測的方法，可大致分為基于規(guī)則的方法以及基于統(tǒng)計的方法。首先，基于規(guī)則的算法常利用紅外波段與其他光譜波段的派生值捕獲云與其他地物的電磁波反射或輻射特性差異，進而結(jié)合恒定的或者自適應(yīng)的閾值進行云與背景像素的區(qū)分，如ACCA[5]、Fmask[6]及改進的LCCD算法[7]。但是此類方法僅考慮了低層次的光譜與空間特征，并且，它們都過于依賴紅外波段，缺乏面向不同傳感器的泛化能力[8]。這使得基于規(guī)則的云檢測方法泛化能力較弱，應(yīng)用限制性較強。其次，基于統(tǒng)計的方法對云的光譜、紋理、輪廓等更高層次的特征進行提取利用，進而實現(xiàn)自動云檢測，如支持向量機[9]、隨機森林[10]與神經(jīng)網(wǎng)絡(luò)[11]。由于這些分類器的性能與可訓(xùn)練參數(shù)有限，在復(fù)雜的任務(wù)中其精度受到限制[12]。

近年來，基于統(tǒng)計的深度學(xué)習(xí)方法獲得了巨大的發(fā)展，其準(zhǔn)確性、泛化能力及推理速度均得到進一步提升[13]。目前，基于深度學(xué)習(xí)的云檢測工作獲得了豐碩成果，主要從注重快速響應(yīng)能力或提高精度兩方面開展。在追求快速推理方面，輕量級的RS-Net[13]與Cloud-U-Net[8]基于U-Net[14]架構(gòu)進行了特征圖的深度減半處理，在確保云檢測精確性的同時，減少了大量神經(jīng)網(wǎng)絡(luò)參數(shù)量與內(nèi)存占用量，從而實現(xiàn)了對遙感影像云掩膜的快速輸出。RS-Net在Landsat-8全波段產(chǎn)品上的平均處理時間提升到了18 s左右。同時，Cloud-U-Net的預(yù)測時間減少為Fmask方法的1/60。在提高模型性能方面主要是通過改變網(wǎng)絡(luò)主干結(jié)構(gòu)或載入先進組件的方式，以提高云檢測精度。例如，MSCFF[15]將網(wǎng)絡(luò)解碼部分上的多級特征圖進行融合輸出，該機制促進了多層級語義信息的聚合，從而在多種數(shù)據(jù)集上均顯示出了良好的精度。CDnetV2[16]向網(wǎng)絡(luò)內(nèi)部添加了自適應(yīng)特征融合模塊與高級語義信息引導(dǎo)模塊，分別為網(wǎng)絡(luò)賦予了有效的特征鑒別提取能力以及面向高級語義信息的空間位置信息補充能力，使得該網(wǎng)絡(luò)在云雪共存縮略圖中獲得了極佳的云檢測精度。

盡管上述方法顯著提高了云檢測的效率和精度，但仍存在著一些亟須解決的問題。首先，現(xiàn)存方法多是基于中低分辨率的遙感數(shù)據(jù)集設(shè)計并驗證的。然而，近幾年高分辨率衛(wèi)星影像獲得廣泛的發(fā)展，針對高分辨率遙感影像的云檢測需求激增，基于中低分辨率的云檢測數(shù)據(jù)集無法滿足高分辨率遙感影像的高精度云檢測需求。其次，目前的云檢測方法均未詳細(xì)探討在高分辨率云雪共存場景中開展云檢測任務(wù)的適用性。再者，常用的云檢測模型難以平衡效率與精度提升兩方面，如RS-Net和Cloud-U-Net過于強調(diào)執(zhí)行效率，在準(zhǔn)確性方面仍有欠缺[16]。優(yōu)先考慮精度的網(wǎng)絡(luò)，卻具有大量的參數(shù)量與運算量，導(dǎo)致計算成本急劇增加、運行速度降低。因此，本文創(chuàng)建了一套基于WorldView2影像的高分辨率云雪共存區(qū)云檢測數(shù)據(jù)集，同時，提出了一種基于雙重自適應(yīng)特征融合及可控深層梯度指導(dǎo)流的參數(shù)可重構(gòu)多尺度特征融合網(wǎng)絡(luò)，用于高分辨率以及云雪共存的場景中的云檢測，該網(wǎng)絡(luò)既能保證精度最優(yōu)又注重可輕量化部署。

1 方 法

1.1 高精度輕量級云檢測網(wǎng)絡(luò)RDC-Net

本文提出一種云檢測網(wǎng)絡(luò)RDC-Net(圖1)，其整體構(gòu)成如下：首先，具有并行通道的可重構(gòu)多尺度特征融合模塊(Re-MFF)貫穿網(wǎng)絡(luò)的編解碼部分，驅(qū)動整個網(wǎng)絡(luò)的運行。該模塊在訓(xùn)練階段能夠捕獲與聚合網(wǎng)絡(luò)中不同層級的多尺度云特征，并且在測試應(yīng)用階段能夠進行無損重構(gòu)與輕量化部署。其次，雙重自適應(yīng)特征融合結(jié)構(gòu)(DAFF)部署于等效特征圖的跳層連接之后，可對輸入特征進行自適應(yīng)地強調(diào)或者抑制信息，從而動態(tài)地改善特征的可用性，促進有效信息在網(wǎng)絡(luò)中的傳播流動。最后，可控深層梯度指導(dǎo)流(CDGGF)分布在解碼部分，有利于融合解碼部分中相鄰層級的可用特征，并對網(wǎng)絡(luò)內(nèi)部的梯度流進行無偏指導(dǎo)。

圖1 RDC-Net網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 The architecture of RDC-Net

1.2 可重構(gòu)多尺度特征融合模塊

多分支拓?fù)浣Y(jié)構(gòu)能夠有效地提升網(wǎng)絡(luò)的表征能力[17-19]，應(yīng)用于云檢測任務(wù)中，有利于多尺度特征的聚合，以提升網(wǎng)絡(luò)對云與雪等易混淆地物的判別度[20]，進而提高云檢測精度。但是，復(fù)雜的多分支拓?fù)浣Y(jié)構(gòu)為網(wǎng)絡(luò)帶來了大量的參數(shù)量、計算量與訪存量，延遲了網(wǎng)絡(luò)的推理速度。因此，基于結(jié)構(gòu)重參數(shù)化技術(shù)[21]，本文設(shè)計了全新的可重構(gòu)多尺度特征融合模塊(reconstructible multiscale feature fusion module，Re-MFF)，將網(wǎng)絡(luò)的訓(xùn)練與推理過程解耦，以保證網(wǎng)絡(luò)不僅在訓(xùn)練階段具有良好特征捕獲能力，而且在部署階段具有極佳的推理速度，以更好地達(dá)到精度與速度的平衡。

Re-MFF模塊在訓(xùn)練階段的具體結(jié)構(gòu)如圖2(a)所示。該模塊由3個多通道單元及相應(yīng)的線性激活層(ReLU)構(gòu)成。多通道單元中具有不同體系的映射通道將淺層特征表征于更深層，以使網(wǎng)絡(luò)獲得更為豐富的特征空間。此外，值得注意的是，為進一步加大網(wǎng)絡(luò)中卷積核的感受野，RDC-Net中的兩個Re-MFF(圖1中框體處)做了細(xì)微調(diào)整。具體而言，這兩處Re-MFF中所有的3×3卷積通道(可見圖2(a)中的三角標(biāo)注處)分別被更換為具有d1和d2膨脹率的3×3空洞卷積通道。

在對Re-MFF進行無損重構(gòu)的過程中，多通道單元中的各個通道分支將會首先聚合為一個卷積層，其過程如算法1中FuseBranch函數(shù)所示。該函數(shù)中，k和d分別代指重構(gòu)前卷積核的卷積尺寸與膨脹率，ω和b分別為該卷積核的權(quán)重向量與偏移向量，μ、σ、γ、β和eps分別為卷積層后標(biāo)準(zhǔn)歸一化層中的累計平均值、標(biāo)準(zhǔn)偏差、學(xué)習(xí)權(quán)重、學(xué)習(xí)偏差及穩(wěn)定動量，C1與C2分別為輸入與輸出特征圖的通道數(shù)。計算所得的W與B分別為通道分支重構(gòu)為單個卷積后的權(quán)重向量與偏移向量。各個通道分支轉(zhuǎn)換為單個卷積之后，進一步將多通道單元構(gòu)置為單一卷積核。具體的操作流程如算法1中FuseUnit函數(shù)所示，其中Ψ與Φ分別代表著重構(gòu)后的卷積核權(quán)重向量與偏置向量。將所得到的Ψ與Φ分別加載于圖2(b)中對應(yīng)的卷積中便完成了對多尺度特征融合模塊的無損重構(gòu)。

圖2 Re-MFF的重構(gòu)過程Fig.2 Reconstruction process in Re-MFF model

根據(jù)以上描述以及算法1中的FuseUnit函數(shù)可知，Re-MFF中具有膨脹率d的多通道單元在無損重構(gòu)后將會獲得具有同樣大小膨脹率d的單個卷積核。因此，RDC-Net中不同位置的Re-MFF雖有一些細(xì)節(jié)差異，但這并不影響重構(gòu)過程。

Algorithm 1:The implementation of reconstruction for Re-MFF

Input:M-Unit Multi-channel unit in Re-MFF

Output:S-Unit Single channel unit reconstructed by multi-channel

function FuseUnit(M-Unit)

Ψ,Φ,k,d=0,0,0,0

for Branch in M-Unit do

Ψ+=FuseBranch(Branch)[0]

Φ+=FuseBranch(Branch)[1]

end for

k,d=GetKD(M-Unit)

S-Unit=torch.nn.Conv2d(C1,C2,k,d))

S-Unit.weight,S-Unit.bias=Ψ,Φ

return S-Unit

end function

function FuseBranch(Branch)

if Branch hasattr convbn then

k,d=Branch.conv.kernelsize,Branch.conv.dilation

ω,b=Branch.conv.weight,Branch.conv.bias

μ,ν,eps=Branch.bn.mean,Branch.bn.var,Branch.bn.eps

γ,β=Branch.bn.weight,Branch.bn.bias

W,B=t*ω,beta+b-mean*gamma/std

ifk==1 then

W=PadTensor(W)

end if

returnW,B

else if Branch hasattr identity then

W,B=zeros(C2,C1,3,3),0

foriinC2do

W[i,i%C1,1,1]=1

end for

returnW,B

end if

end function

function PadWeight(Weight)

Weight=torch.nn.functional.pad(Weight,[1,1,1,1])

return Weight

end function

function GetKD(M-Unit)

k,d=0,0

for Branch in M-Unit do

ifk

k=Branch.conv.kernelsize

end if

ifd

d=Branch.conv.dilation

end if

end for

returnk,d

end function

1.3 雙重自適應(yīng)特征融合模塊

在卷積神經(jīng)網(wǎng)絡(luò)中，通常使用特征元素求和或是串聯(lián)的方式來融合多層次/多尺度的特征[14,17,19,22]，以提升網(wǎng)絡(luò)的特征表征能力。但是該操作所得的特征圖中所蘊含的特征信息量大且冗余度較高，后續(xù)的映射變換操作中難以對有效信息進行高效利用。受混合域空間注意力[23-24]的啟發(fā)，本文提出了輕量級的雙重自適應(yīng)特征融合模塊(dual adaptive feature fusion module，DAFF)并運用于RDC-Net的跳層連接結(jié)構(gòu)中。當(dāng)網(wǎng)絡(luò)的底層空間信息與抽象的高級語義信息進行融合后，DAFF能夠基于特征圖的空間域與通道域進行重要特征的篩選，以促進網(wǎng)絡(luò)對重要特征的關(guān)注，并抑制貢獻(xiàn)較小的冗余特征。

網(wǎng)絡(luò)中淺層的等效特征圖在與深層特征圖建立跳層連接關(guān)系后，DAFF則會對其鄰域空間上特征間的相互依賴性進行顯式的建模，來自適應(yīng)地重新校準(zhǔn)特征質(zhì)量。如圖3所示，這一處理過程包括如下兩個步驟：

圖3 雙重自適應(yīng)特征融合結(jié)構(gòu)Fig.3 The architecture of dual adaptive feature fusion model

首先，給定的輸入特征圖F∈RH×W×C將會首先沿著通道軸進行特征表示的重建，具體過程可表示為

Fc=σ(Conv(kc,dc)⊙AvgPool(F))?F

(1)

式中，Conv(k,d)指代核為k、膨脹率為d的卷積核；⊙代表著卷積核與特征圖的濾波響應(yīng)；?為哈達(dá)瑪積；σ是Sigmoid函數(shù)。

其次，所得的通道特征重建圖Fc∈RH×W×C將會再次沿著空間軸進行特征表示的重建，見式(2)，最終獲得空間特征重建圖Fs∈RH×W×C

Fs=σ(Conv(ks,ds)⊙cat(AvgPool(Fc),MaxPool(Fc)))?Fc

(2)

1.4 可控深層梯度指導(dǎo)流模塊

標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)僅在輸出層提供監(jiān)督反饋，其中間層在訓(xùn)練過程中很難直接、透明地面向目標(biāo)特征進行學(xué)習(xí)，并且隨著網(wǎng)絡(luò)深度的增加，梯度消失或爆炸的可能性會大大增加。因此，RDC-Net在解碼層添加了可控深層梯度指導(dǎo)流(CDGGF)作為網(wǎng)絡(luò)訓(xùn)練的附加約束，使隱藏層參數(shù)的更新更具梯度動量，從而加快收斂速度并提升網(wǎng)絡(luò)特征表征能力。

圖4 深層梯度指導(dǎo)流模塊結(jié)構(gòu)Fig.4 The structure of deep gradient guided flow module

(3)

(4)

式中，Zm是第m層濾波器核函數(shù)與前層特征圖的濾波響應(yīng)；σ指代Sigmoid激活函數(shù)；h、w分別代表輸入影像的高和寬；L為損失函數(shù)計算所得損失值。

在CDGGF的反卷積處理過程中，大尺度的上采樣與維度壓縮會導(dǎo)致精細(xì)信息的損失。由于CDGGF能夠直接連接到目標(biāo)特征，并被用作特征學(xué)習(xí)質(zhì)量的反饋，這會為前層參數(shù)的更新帶來誤差，并最終影響網(wǎng)絡(luò)的學(xué)習(xí)能力。因此，CDGGF采取了一系列策略來抑制這種情況所產(chǎn)生的負(fù)面影響。

一方面，如式(5)所定義，不同的權(quán)重系數(shù)ωl被加權(quán)到與不同層級特征圖耦合的CDGGF中，可以權(quán)衡不同分支路徑中梯度流的重要性，以便抑制具有誤差性的反向傳播

(5)

另一方面，改進的鉸鏈損失(hinge loss)被應(yīng)用于CDGGF，即如果所有分支中交叉熵函數(shù)所得損失之和小于閾值α，則梯度下降算法將忽略這些值，如式(6)所示

(6)

這一機制可以防止在訓(xùn)練后期網(wǎng)絡(luò)梯度趨于穩(wěn)定時，低分辨率的特征圖過于直接從目標(biāo)特征中學(xué)習(xí)而增加了學(xué)習(xí)錯誤信號的可能性，將不確定性引入網(wǎng)絡(luò)。

2 數(shù) 據(jù)

2.1 高分辨率云雪共存區(qū)云檢測數(shù)據(jù)集

目前遙感影像中云檢測的研究工作已經(jīng)取得顯著進展，且一系列的云檢測數(shù)據(jù)集被創(chuàng)建并公開[11,15,25-26]。現(xiàn)存的云檢測數(shù)據(jù)集多為中低分辨率，并無開源的專門面向于云雪共存區(qū)域的云檢測數(shù)據(jù)集。

因此筆者創(chuàng)建了一套具有高分辨率的開源云檢測數(shù)據(jù)集，數(shù)據(jù)集中包含了37幅視場內(nèi)可以同時觀測到云區(qū)與雪區(qū)的影像。同時為保證場景的多樣性，數(shù)據(jù)集中的影像采集于2014—2018年的不同時段，且分布于歐洲、亞洲及北美洲的不同位置區(qū)，以使得場景中包括不同季節(jié)的高原、山區(qū)、城市及水域等下墊面信息。

對該數(shù)據(jù)集進行手動標(biāo)識云區(qū)的操作是在Adobe Photoshop及ENVI中使用相應(yīng)的繪制功能來進行的。此構(gòu)建過程存在著兩方面的問題，一方面，高分辨率遙感影像中云的形態(tài)多樣性與邊界模糊性被放大，淺薄云與冰雪等高亮下墊面具有相似的光譜反射率和局部紋理特征，因此在影像中難以定性地對每個像素進行精準(zhǔn)的云標(biāo)識。另一方面，分析師的主觀判定差異會導(dǎo)致制作標(biāo)簽的平均誤差達(dá)到7%[27]。因此，為了保證樣本數(shù)據(jù)的精準(zhǔn)性與一致性，在整個處理過程中只采用一種云像素解釋判定標(biāo)準(zhǔn)，即只要云像素在視覺上能夠分辨，或者說判定該像素與云的相似度為50%及以上，其就會被標(biāo)識為云，如圖5(a)所示。這一標(biāo)準(zhǔn)同樣適用于在雪上空的云像素，如圖5(b)所示。此外，人工標(biāo)記云標(biāo)簽的過程僅由兩位經(jīng)過統(tǒng)一指導(dǎo)培訓(xùn)的分析師執(zhí)行，其中一位分析師進行云像素的標(biāo)記，另一位分析師則負(fù)責(zé)對標(biāo)記工作進行檢查，從而確保標(biāo)注工作質(zhì)量達(dá)到最佳。

圖5 CloudS數(shù)據(jù)集中原始影像與云標(biāo)簽的對比Fig.5 The comparison of original images and cloud label in the CloudS dataset

總的來說，在整個數(shù)據(jù)集的制作過程中，由于能夠嚴(yán)格按照云判定標(biāo)準(zhǔn)執(zhí)行，并且進行合理的工作分配，因而能夠進一步確保該數(shù)據(jù)集的云標(biāo)注質(zhì)量。

2.2 數(shù)據(jù)集的進一步劃分

為了評估不同的方法在亞米級和米級高分辨率遙感影像上的穩(wěn)健性，該數(shù)據(jù)集被進一步劃分。37幅場景中有13幅0.5 m的分辨率影像，并將其命名為亞米級分辨率云檢測數(shù)據(jù)集(CloudS_Y13)。通過對其余24個場景的原始影像進行下采樣操作，使其分辨率保持在5 m左右，從而構(gòu)建了一個米級分辨率云檢測數(shù)據(jù)集(CloudS_M24)。圖6給出了CloudS_M24和CloudS_Y13的標(biāo)注示例。此外，有關(guān)兩個數(shù)據(jù)集的詳細(xì)對比信息見表1。由于原始影像中云雪共存區(qū)域的可見面積不定，因此每幅影像的尺寸也是不定的。值得注意的是，該數(shù)據(jù)集已在https:∥github.com/zhanggb1997/RDC-CloudS上公開，以幫助其他研究人員進行相關(guān)研究。

表1 數(shù)據(jù)集詳細(xì)信息對比Tab.1 Comparison of dataset details

圖6 CloudS_M24與CloudS_Y13中的部分標(biāo)注示例Fig.6 Some annotation samples from CloudS_M24 and CloudS_Y13

3 試 驗

3.1 試驗設(shè)計

本文試驗分別基于CloudS_M24與CloudS_Y13數(shù)據(jù)集開展，以評估云檢測方法在米級和亞米級分辨率遙感影像上的穩(wěn)健性。在對CloudS_M24與CloudS_Y13中原始數(shù)據(jù)進行處理時，CloudS_M24數(shù)據(jù)集中的6幅影像被分配到測試子集中，其余的18幅影像被歸納為訓(xùn)練與驗證子集。在CloudS_Y13數(shù)據(jù)集中，其中的3幅影像被歸納到了測試子集中，其余的10幅影作為訓(xùn)練與驗證子集。在原始數(shù)據(jù)的分配完成后，兩個數(shù)據(jù)集中所有的場景均會被512像素大小的裁剪步幅切割為5122像素尺寸的無重疊圖像塊。然后，訓(xùn)練與驗證子集中所獲得的裁剪圖像塊將會按照一定的比例劃分到訓(xùn)練子集與驗證子集中去。由于兩個數(shù)據(jù)集圖像塊數(shù)量差距明顯，劃分過程中未規(guī)定各數(shù)據(jù)子集的固定占比，其中較小的CloudS_M24數(shù)據(jù)集為了避免模型預(yù)測結(jié)果的偶然性，其驗證子集與測試子集的數(shù)量占比要更高一些。最后，所有的圖像塊被劃分為訓(xùn)練集、驗證集和測試集3個數(shù)據(jù)子集，用于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)調(diào)優(yōu)、無偏評估以及最終評價。值得注意的是，在數(shù)據(jù)集的劃分過程中，每個子集合都嚴(yán)格保證數(shù)據(jù)的獨立性與隨機性。表2給出了詳細(xì)的數(shù)據(jù)集劃分信息。

表2 不同數(shù)據(jù)集的訓(xùn)練細(xì)節(jié)Tab.2 The training details in different datasets

本文所有試驗均運行于64位Windows10操作系統(tǒng)的計算機上，該設(shè)備配有AMDRyzen5 5600X 6-Core Processor處理器，具有24 GB顯存的NVIDIA GeForce RTX 3090 GPU?；谝陨吓渲茫M一步搭建了Python3.8+Pytorch1.8.0+CUDA11.1深度學(xué)習(xí)環(huán)境。訓(xùn)練過程中采用Adam優(yōu)化算法進行梯度下降，選擇交叉熵函數(shù)作為損失函數(shù)，學(xué)習(xí)率設(shè)置為0.000 1，迭代次數(shù)分別設(shè)置為100和50，每次迭代的批量數(shù)為8。

本文中選用了廣泛運用于圖像語義分割領(lǐng)域的U-Net[14]，以及適用于云檢測任務(wù)的RS-Net[13]、CloudSegNet[12]和CDnetV2[16]，總共4種具有代表性的方法與本文方法，基于上述數(shù)據(jù)集進行對比試驗。將試驗結(jié)果與真值進行像素級的差異性與一致性評估，選用交并比(IoU)、綜合分?jǐn)?shù)(F1score)、精確率(OA)、查準(zhǔn)率(Precision)和查全率(Recall)作為評價指標(biāo)。同時，綜合運用浮點運算數(shù)及參數(shù)量對網(wǎng)絡(luò)的復(fù)雜度進行定量評估。

3.2 試驗結(jié)果與分析

圖7顯示了不同方法基于CloudS_M24數(shù)據(jù)集的云檢測結(jié)果。其中U-Net，CloudSegNet和CDnetV2極易將裸露的淺色地表識別為薄云。同時，位于厚云邊緣的一些不連續(xù)的稀薄云被這兩種方法所遺漏。此外，這3種方法在高亮的積雪區(qū)域產(chǎn)生了大量的云漏檢與誤檢現(xiàn)象。RS-Net盡量顧及場景中的薄云，且對雪域上空的云具有一定的穩(wěn)健提取能力，但是其在云邊界細(xì)節(jié)處理中比較粗糙，與標(biāo)簽中的真實云掩膜仍存在較大出入。RDC-Net能較好地保留薄云細(xì)節(jié)信息，檢測到雪上空的云，同時能夠防止裸露地面及淺色地物的影響。

圖7 多種深度學(xué)習(xí)方法基于CloudS_M24數(shù)據(jù)集的云檢測結(jié)果可視化對比Fig.7 On the CloudS_M24 dataset, the visual comparison of cloud detection results for several deep learning methods

表3展示了基于CloudS_M24數(shù)據(jù)集的各種云檢測方法的定量評估值：RDC-Net獲得了最高的IoU、F1score、OA和Precision值，在IoU與F1score兩個關(guān)鍵性指標(biāo)上分別得分82.71%和90.54%，相對于次優(yōu)的RS-Net分別高1.22%與0.74%。其他方法精度評估值較低，不適用于精確云檢測。

表3 CloudS_M24中不同方法的云檢測結(jié)果定量比較Tab.3 The quantitative comparisons of cloud detection results using various methods on the CloudS_M24 dataset (%)

圖8為基于CloudS_Y13數(shù)據(jù)集的試驗結(jié)果：參與試驗的所有方法的檢測結(jié)果在云邊緣上沒有很大的誤差，然而，在云層內(nèi)部與明亮地表區(qū)域可以發(fā)現(xiàn)更為明顯的問題。U-Net、RS-Net與CloudSegNet在云內(nèi)部極易出現(xiàn)漏檢。此外，所有的對比方法均容易將陰影覆蓋的雪地、淺色的裸露土地以及高亮的建筑物頂部誤判為云。相比之下，RDC-Net能夠避免易混淆地物的干擾，得到幾乎無噪聲點的檢測結(jié)果。

圖8 多種深度學(xué)習(xí)方法基于CloudS_Y13數(shù)據(jù)集的云檢測結(jié)果可視化對比Fig.8 On the CloudS_Y13 dataset, the visual comparison of cloud detection results for several deep learning methods

基于CloudS_Y13的定量評價結(jié)果見表4，具有最佳可視化結(jié)果的RDC-Net精度評估值具有明顯優(yōu)勢。該方法的IoU和F1score分別為86.94%和93.02%，這要比次優(yōu)的CDnetV2相關(guān)指標(biāo)分別要高出3.74%及2.2%。U-Net在多項評估指標(biāo)上均為最低值，其IoU與F1score值分別僅為81.12%和89.57%。其他幾種參與試驗的對比方法的定量評估值則相對于U-Net要好一些，但要遠(yuǎn)低于RDC-Net。

表4 CloudS_Y13數(shù)據(jù)集中不同方法的云檢測結(jié)果定量比較Tab.4 The quantitative comparisons of cloud detection results using various methods on the CloudS_Y13 dataset (%)

RDC-Net在參與試驗的兩個子數(shù)據(jù)集中均能夠獲得極佳檢測結(jié)果的主要原因是：首先，RDC-Net中的Re-MFF不斷收集和融合來自不同特征域的多尺度特征，以加強不同尺度的特征間的相關(guān)性。這有利于對非局部性的空間和光譜特征差異進行學(xué)習(xí)，以此達(dá)到對具有相似性特征的云雪對象以及背景地物的高精度辨別。其次，DAFF將更有效的低級空間和光譜特征傳播到網(wǎng)絡(luò)的深處，以補償最大池化和卷積過程中的特征丟失問題。再者，CDGGF聚合來自解碼器中不同層級的特征映射，并且使得網(wǎng)絡(luò)內(nèi)部特征直面目標(biāo)特征進行擬合，以獲得最優(yōu)收斂。該結(jié)構(gòu)有助于捕獲保留更為精細(xì)的云特征，并且減少低級錯誤分類。

此外，CloudS_M24數(shù)據(jù)集的分辨率較低且樣本量少，其中云與其他相似地物的空間和光譜特征區(qū)分度較低，這使得參與試驗的對比方法難以從有限的訓(xùn)練樣本中學(xué)習(xí)具有良好區(qū)分性的特征。而輕量級的RDC-Net具有有限數(shù)量的參數(shù)，有助于針對小樣本數(shù)據(jù)集進行無偏學(xué)習(xí)以防止過擬合問題的產(chǎn)生。在CloudS_Y13中，隨著空間分辨率的增加，小尺寸圖像塊可表達(dá)傳輸?shù)男畔⒘繙p少。對于網(wǎng)絡(luò)來說，從具有有限信息的圖像塊中捕獲區(qū)分特征更加困難。而RDC-Net中具有膨脹率的Re-MFF與DAFF使網(wǎng)絡(luò)的感受野大大擴展，有助于網(wǎng)絡(luò)在高分辨率圖像中接收有關(guān)大尺度對象的更完整信息。

3.3 網(wǎng)絡(luò)復(fù)雜性分析

除了精度的硬性要求外，遙感影像的處理時長同樣為云檢測應(yīng)用中的重要指標(biāo)，且這一指標(biāo)在應(yīng)急響應(yīng)中更為突出[27-28]。以往的云檢測工作中，多數(shù)方法都強調(diào)了在原始場景中瞬時推理并快速獲取云掩膜的重要性[8,13]。因此在相同試驗環(huán)境下，以CloudS_M24與CloudS_Y13中的測試集作為數(shù)據(jù)基準(zhǔn)，進一步對所有參與試驗的方法的效率進行評估。評估過程中將模型的前向推理時長、浮點運算次數(shù)以及參數(shù)量作為評價標(biāo)準(zhǔn)進行比較，詳細(xì)的評估結(jié)果見表5。

表5 不同方法的推理時長、浮點運算數(shù)量和參數(shù)量Tab.5 The value of reasoning time, floating point operations and the number of parameters for various methods

由表5可知，RDC-Net具有最少的參數(shù)量以及極低的浮點計算量，其參數(shù)量與浮點計算量分別為585萬與66.63GFlops，這是由于RDC-Net限制了整個網(wǎng)絡(luò)以及網(wǎng)絡(luò)中特征圖的深度。由于Re-MFF結(jié)構(gòu)中的并行卷積通道大量增加了網(wǎng)絡(luò)的訪存量與計算量，這使得其前向推理時間在參與試驗的幾種方法中最長。重構(gòu)部署后的RDC-Net將網(wǎng)絡(luò)的參數(shù)量與浮點計算量分別縮減至534萬與59.75GFlops，這要遠(yuǎn)低于CDnetV2、U-Net與CloudSegNet。與此同時，在CloudS_M24與CloudS_Y13測試集中的前向推理時長也分別減少到0.89、22.68 s，遠(yuǎn)低于U-Net與CloudSegNet。

參與試驗的其他幾種方法中，CDnetV2為了提取密集的高層語義信息，具有大量的殘差單元和特征融合模塊，從而導(dǎo)致CDnetV2的參數(shù)數(shù)量是RDC-Ne的十余倍。U-Net與CloudSegNet具有許多深且高分辨率的特征圖，導(dǎo)致其在參數(shù)量與浮點計算量上均較高。與重構(gòu)后的RDC-Net相比，U-Net與CloudSegNet的浮點計算量幾乎是RDC-Net的4倍，參數(shù)數(shù)量分別是RDC-Net網(wǎng)絡(luò)的6倍與8倍。

多數(shù)方法的浮點運算數(shù)量和參數(shù)量遠(yuǎn)遠(yuǎn)超過RDC-Net網(wǎng)絡(luò)，因此，RDC-Net網(wǎng)絡(luò)在輕量化部署應(yīng)用方面具有顯著的優(yōu)勢。

3.4 參數(shù)敏感性分析

RDC-Net面向于不同數(shù)據(jù)集時，網(wǎng)絡(luò)中的關(guān)鍵參數(shù)需要展開進一步的討論分析，如具有空洞卷積的Re-MFF的膨脹率、DAFF的卷積核尺寸與膨脹率、CDGGF的鉸鏈損失閾值以及CDGGF中不同分支路徑的權(quán)重系數(shù)。

圖9所列結(jié)果顯示，具有空洞卷積的Re-MFF為網(wǎng)絡(luò)帶來了精度提升。而在不同分辨率的數(shù)據(jù)集中，空洞卷積的膨脹率需要進一步微調(diào)，以實現(xiàn)精度最優(yōu)。在CloudS_Y13為基準(zhǔn)的試驗中，具有較大膨脹率的網(wǎng)絡(luò)在檢測精度上獲得了進一步的提升。但在CloudS_M24數(shù)據(jù)集中這一數(shù)值應(yīng)相應(yīng)縮小，才能保證更為精確的檢測結(jié)果。圖10同樣顯示出，DAFF沿著空間軸方向上進行特征重建的卷積核尺寸與膨脹率也應(yīng)做出適當(dāng)?shù)恼{(diào)整，即在CloudS_Y13數(shù)據(jù)集中適當(dāng)調(diào)大這些參數(shù)。原因是地表對象在影像中所表現(xiàn)出的空間尺度會隨著影像空間分辨率的改變而不同，在CloudS_Y13中云對象會大比例填充甚至占滿整個圖像塊，而在CloudS_M24中這種情況很少見。具有較大膨脹比率的網(wǎng)絡(luò)能夠進一步擴大感受野，這對面相于大目標(biāo)的分割任務(wù)極為有利。因此，結(jié)合試驗結(jié)果，RDC-Net中兩個空洞卷積Re-MFF的膨脹率(d1，d2)分別設(shè)定為(1，2)與(2，4)，以面向于CloudS_M24與CloudS_Y13數(shù)據(jù)集進行云檢測。同時選擇(7，1)與(7，2)分別作為CloudS_M24與CloudS_Y13數(shù)據(jù)集中DAFF在空間軸方向上的卷積核尺寸ks與膨脹率ds。

圖9 具有不同膨脹率的Re-MFF測試精度對比Fig.9 Test accuracy of Re-MFF with different dilated rates

圖10 在空間軸方向上具有不同尺寸卷積核與膨脹率的DAFF測試精度對比Fig.10 Test accuracy of DAFF in the direction of spatial axis with different kernel sizes and dilated rates

本文對CDGGF中的鉸鏈損失閾值同樣進行了一系列微調(diào)和比較(圖11):顯示當(dāng)考慮鉸鏈損失時，該方法的精度得到了提高。但是，當(dāng)α高度傾斜時，網(wǎng)絡(luò)的性能會受到影響。根據(jù)試驗結(jié)果，基于CloudS_M24與CloudS_Y13的鉸鏈損失閾值分別被確定為0.024和0.009。

圖11 具有不同鉸鏈損失閾值α的CDGGF測試精度對比Fig.11 Test accuracy of CDGGF with different hinge losses

此外，RDC-Net中CDGGF的不同分支路徑分別賦予了不同的權(quán)重系數(shù)ωl，并進行了單獨的訓(xùn)練與測試，其相應(yīng)的評估結(jié)果如圖12所示。當(dāng)各分支路徑的權(quán)重系數(shù)ωl近于相等時，網(wǎng)絡(luò)精度較低。而當(dāng)主輸出路徑權(quán)重系數(shù)較高，其他輸出路徑的權(quán)重系數(shù)逐漸降低時，網(wǎng)絡(luò)的精度則呈逐步上升的趨勢，并且在ω0、ω3、ω2、ω1分別為0.50、0.25、0.15、0.10時，達(dá)到最佳檢測精度。因此，分別將0.50、0.25、0.15、0.10設(shè)定為CDGGF中主輸出路徑以及其他各層級分支路徑中的損失函數(shù)權(quán)重系數(shù)。

圖12 具有不同權(quán)重系數(shù)ωl的CDGGF測試精度對比Fig.12 Test accuracy of CDGGF with different weights

3.5 消融試驗分析

多種創(chuàng)新性技術(shù)組件構(gòu)成了兼具效率與精度的RDC-Net。在本節(jié)中將把這些組件單獨或組合安裝于網(wǎng)絡(luò)主干架構(gòu)上，以構(gòu)成具有不同組件的網(wǎng)絡(luò)(表6)。針對這些網(wǎng)絡(luò)開展了一系列的訓(xùn)練與測試，以評估網(wǎng)絡(luò)精度與效率收益的有效性與合理性。試驗過程中為了保證變量的唯一性，只對網(wǎng)絡(luò)進行組件的更換或者添加，其余的訓(xùn)練配置保持不變。參與消融試驗的網(wǎng)絡(luò)具體結(jié)構(gòu)如下：

網(wǎng)絡(luò)(a)采用了基于RDC-Net的網(wǎng)絡(luò)架構(gòu)，刪除了全部的DAFF與CDGGF模塊，并使用兩個串聯(lián)的3×3卷積來代替Re-MFF模塊以驅(qū)動整個網(wǎng)絡(luò)。處理后所得的網(wǎng)絡(luò)(a)作為基準(zhǔn)將與其他具有創(chuàng)新性組件的網(wǎng)絡(luò)進行對比。

網(wǎng)絡(luò)(b)、(c)、(d)在網(wǎng)絡(luò)(a)的基礎(chǔ)上分別安裝了Re-MFF、DAFF與CDGGF模塊，將這些網(wǎng)絡(luò)分別與基準(zhǔn)網(wǎng)絡(luò)(a)進行對比，以驗證各組件的性能。

網(wǎng)絡(luò)(e)、(f)、(g)在RDC-Net的基礎(chǔ)上分別刪除了Re-MFF、DAFF與CDGGF模塊，用于論證結(jié)合多種不同組件的網(wǎng)絡(luò)在性能提升方面的有效性。

網(wǎng)絡(luò)(h)為具有Re-MFF、DAFF與CDGGF 3個組件的網(wǎng)絡(luò)，具有全部創(chuàng)新性組件的標(biāo)準(zhǔn)RDC-Net的云檢測性能。

網(wǎng)絡(luò)(a)—(h)的精度與復(fù)雜度評估結(jié)果見表6?？梢钥闯?，隨著各種創(chuàng)新性組件基于主干結(jié)構(gòu)的逐步添加，網(wǎng)絡(luò)的精度效益及前向推理計算復(fù)雜度均不斷提升。

表6 具有不同組件的網(wǎng)絡(luò)的定量化精度與復(fù)雜度評估Tab.6 Quantitative accuracy and complexity evaluation of various networks with different components

網(wǎng)絡(luò)(a)、(b)的定量評估結(jié)果對比顯示Re-MFF在精度提高的同時，其參數(shù)量及浮點運算數(shù)量增長明顯。值得注意的是，具有Re-MFF的網(wǎng)絡(luò)(b)在無損重構(gòu)后能夠?qū)⑵鋸?fù)雜度降低，與網(wǎng)絡(luò)(a)復(fù)雜度一致。這說明載有Re-MFF組件的網(wǎng)絡(luò)在無損重構(gòu)后，可以簡化網(wǎng)絡(luò)結(jié)構(gòu)并提升網(wǎng)絡(luò)執(zhí)行效率，以適應(yīng)輕量級部署或追求快速響應(yīng)的云檢測任務(wù)。

通過網(wǎng)絡(luò)(a)與網(wǎng)絡(luò)(c)、(d)的比較可以看出，DAFF與CDGGF分別集成于網(wǎng)絡(luò)中，均能顯著提升網(wǎng)絡(luò)對云像素的判定準(zhǔn)確性，并且這兩種創(chuàng)新性組件并沒有顯著增加網(wǎng)絡(luò)的參數(shù)量與浮點運算數(shù)量，因而能夠避免對網(wǎng)絡(luò)的計算時間和空間復(fù)雜度產(chǎn)生顯著影響。

網(wǎng)絡(luò)(e)、(f)、(g)及(h)的測試結(jié)果表明，各種創(chuàng)新性組件的組合均能有效提升網(wǎng)絡(luò)的穩(wěn)健性。尤其是具載有全部組件的網(wǎng)絡(luò)(h)(即完整的RDC-Net)獲得了最佳的檢測精度，并且受益于這3個組件，其參數(shù)量與浮點運算數(shù)量均保持在了較低的水平，這進一步驗證了本文所提出的3種創(chuàng)新性技術(shù)組件的有效性與合理性。

總的來說，集成有Re-MFF、DAFF與CDGGF組件的RDC-Net能夠較好地適用于高精度且輕量級的云檢測任務(wù)。

3.6 數(shù)據(jù)集對比分析

基于3.2節(jié)所得的試驗結(jié)果可以發(fā)現(xiàn)，相同的方法在CloudS_M24和CloudS_Y13數(shù)據(jù)集中存在著極為明顯的檢測精度差異，且所有的方法均能夠在CloudS_Y13數(shù)據(jù)集中獲得更高的精度(圖13)。例如，CloudSegNet在CloudS_M24中的IoU值為73.26%，而這一值在CloudS_Y13中則為82.55%，差值達(dá)到11.31%。出現(xiàn)這一現(xiàn)象的主要原因在于以下兩點：

圖13 多種方法在不同數(shù)據(jù)集上的精度對比Fig.13 Accuracy comparison of various methods on different data sets

(1) CloudS_Y13數(shù)據(jù)集中場景的分辨率要高于CloudS_M24中場景的分辨率，因此在數(shù)據(jù)處理后具有相同大小的圖像塊中CloudS_Y13能夠為網(wǎng)絡(luò)的學(xué)習(xí)調(diào)優(yōu)提供更為充足且明確的地物特征信息，而CloudS_M24卻因分辨率的降低難以為網(wǎng)絡(luò)提供豐富的地面細(xì)節(jié)信息。

(2) 雖然CloudS_Y13中的場景數(shù)量要少于CloudS_M24，但是CloudS_Y13的場景并未采取下采樣處理操作，這使得其原始影像的尺寸要遠(yuǎn)大于CloudS_M24，進而導(dǎo)致在數(shù)據(jù)處理后CloudS_Y13數(shù)據(jù)集中的圖像塊數(shù)量要遠(yuǎn)多于CloudS_M24(見表2)。因此，在CloudS_Y13中充足的數(shù)據(jù)量能夠保證網(wǎng)絡(luò)進一步學(xué)習(xí)數(shù)據(jù)域中的不變性，從而使網(wǎng)絡(luò)更具穩(wěn)健性。而CloudS_M24數(shù)據(jù)集中的樣本數(shù)量有限，容易導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)過擬合情況。

總而言之，相對于CloudS_M24來說，CloudS_Y13分辨率更高且數(shù)據(jù)量更大，可為網(wǎng)絡(luò)的特征學(xué)習(xí)提供大量數(shù)據(jù)與豐富的細(xì)節(jié)信息，因而相同的方法能夠在CloudS_Y13數(shù)據(jù)集中獲得更高的精度。

4 結(jié) 論

針對云檢測工作極易在高分辨率云雪共存復(fù)雜場景中出現(xiàn)漏檢與誤檢的情況以及缺少相應(yīng)訓(xùn)練樣本數(shù)據(jù)的問題，本文創(chuàng)建了CloudS數(shù)據(jù)集并提出了一種卷積神經(jīng)網(wǎng)絡(luò)RDC-Net。通過大量試驗驗證得知，相較于其他方法，集成有Re-MFF、DAFF和CDGGF模塊的RDC-Net極大地提升了對薄云以及雪上云的檢測成功率，降低了對高亮地物的誤判率。這使得該網(wǎng)絡(luò)在CloudS兩個子數(shù)據(jù)集上均獲得了最高的IoU值，分別為82.71%與86.94%。此外，重構(gòu)后的RDC-Net參數(shù)數(shù)量僅為534萬，前向推理的浮點運算數(shù)僅為59.75GFlops，這使得該網(wǎng)絡(luò)的內(nèi)存占用與計算成本進一步減少，從而適合于廣泛的部署運用。接下來，將通過探索知識蒸餾與半/自監(jiān)督訓(xùn)練策略來進一步改進方法，以達(dá)到更為輕量化的部署并減少對樣本標(biāo)注工作的依賴性。本文創(chuàng)新點如下：

(1) 創(chuàng)建并公開了基于WorldView2影像的高分辨率云雪共存區(qū)云檢測數(shù)據(jù)集，其中包含了37幅視場內(nèi)可以同時觀測到云區(qū)與雪區(qū)的影像與對應(yīng)的云掩膜數(shù)據(jù)。關(guān)于數(shù)據(jù)集詳細(xì)內(nèi)容可見https:∥github.com/zhanggb1997/RDC-CloudS。

(2) 設(shè)計了可重構(gòu)多尺度特征融合模塊(Re-MFF)，在訓(xùn)練階段能夠捕獲與聚合網(wǎng)絡(luò)中的多尺度云特征，有利于對非局部性的空間和光譜特征差異進行學(xué)習(xí)，以此達(dá)到對具有相似性特征的云雪對象以及背景地物的高精度辨別。此外，在測試應(yīng)用階段能夠進行無損重構(gòu)，從而促進網(wǎng)絡(luò)的輕量化部署。

(3) 構(gòu)建并引入了雙重自適應(yīng)特征融合結(jié)構(gòu)(DAFF)，通過對蘊含豐富細(xì)節(jié)信息的淺層特征進行處理，增強了有效特征表達(dá)，抑制了無效特征學(xué)習(xí)。從而將低級空間和光譜特征傳播到網(wǎng)絡(luò)的深處，來補償最大池化和卷積過程中的特征丟失問題。

(4) 在網(wǎng)絡(luò)的解碼階段添加了可控深層梯度指導(dǎo)流 (CDGGF)作為網(wǎng)絡(luò)訓(xùn)練的附加約束，使隱藏層參數(shù)的更新更具無偏差的梯度動量，加快收斂速度并提升網(wǎng)絡(luò)特征表征能力。同時，由于CDGGF能夠聚合來自解碼器中不同層級的特征映射，該結(jié)構(gòu)有助于捕獲保留更為精細(xì)的多層級云特征，減少低級錯誤分類。