劉廣進(jìn)， 王光輝， 畢衛(wèi)華, 劉慧杰， 楊化超

(1.中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，徐州 221116； 2.自然資源部國(guó)土衛(wèi)星遙感應(yīng)用中心，北京 100048； 3.皖北煤電集團(tuán)有限責(zé)任公司，宿州 234002)

0 引言

遙感衛(wèi)星的出現(xiàn)使得我們獲取地表影像數(shù)據(jù)的能力大大提高，憑借其全天時(shí)、大范圍、時(shí)效性，使得遙感技術(shù)廣泛應(yīng)用于農(nóng)業(yè)生產(chǎn)、地質(zhì)防災(zāi)、氣象預(yù)報(bào)、軍事預(yù)警、地理國(guó)情等領(lǐng)域。但是遙感影像的獲取過(guò)程中云的存在是常見(jiàn)現(xiàn)象，由于云的遮擋，使得地面信息無(wú)法被衛(wèi)星獲取到，給后續(xù)的影像分析解譯帶來(lái)了困難[1-2]。所以，遙感影像云檢測(cè)是首要而且必要的一環(huán)，云檢測(cè)的精度與速度對(duì)分析解譯有直接影響。

云檢測(cè)的方法大致可以分為3種： 手工勾繪方法、基于波段閾值及紋理信息的檢測(cè)方法與基于深度學(xué)習(xí)的檢測(cè)方法[3]。其中第一種方法為最傳統(tǒng)的方法，效率較低，本文不再贅述。第二種方法中基于波段閾值的方法需要人為監(jiān)督，調(diào)整參數(shù)才可以達(dá)到較優(yōu)的檢測(cè)結(jié)果，基于紋理的檢測(cè)算法需要后續(xù)對(duì)錯(cuò)誤分類進(jìn)行剔除?；谏疃葘W(xué)習(xí)的云檢測(cè)過(guò)程中不需要人工干預(yù)，實(shí)現(xiàn)了端到端的檢測(cè)。基于波段閾值的云檢測(cè)方法最早是Zhu等[4]提出FMask算法，通過(guò)設(shè)定波段閾值來(lái)實(shí)現(xiàn)Landsat衛(wèi)星影像的云檢測(cè)。在基于紋理的云檢測(cè)方法中，Otsu算法[5]和K-means聚類法[6]等都是基于鄰域的相似性進(jìn)行檢測(cè)，對(duì)噪聲比較敏感，魯棒性較差?？狄伙w等[7]利用高斯混合模型自適應(yīng)獲取影像的灰度閾值，從而分離ZY-3影像的前景與背景，實(shí)現(xiàn)云的檢測(cè)，但對(duì)地表上較亮的地物的誤判比較嚴(yán)重； 仇一帆等[8]使用CFMask算法檢測(cè)Landsat8影像的云及云陰影，然后用其結(jié)果代替人工勾繪的云標(biāo)簽參與深度學(xué)習(xí)訓(xùn)練，再用訓(xùn)練出來(lái)的模型檢測(cè)新圖像的云及云陰影，結(jié)果發(fā)現(xiàn)其檢測(cè)結(jié)果比原始標(biāo)簽精度更高； 栗旭升等[9]利用灰度共生矩陣提取圖像的紋理特征，使用紋理特征與光譜特征結(jié)合，再使用支持向量機(jī)的方法對(duì)高分一號(hào)衛(wèi)星影像進(jìn)行云檢測(cè)； 徐啟恒等[10]使用超像素分割方法與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，采用半監(jiān)督的方式與傳統(tǒng)的Otsu算法相比，云檢測(cè)精度有較大的提高； 劉云峰等[11]將雙重注意機(jī)制模型與全卷積神經(jīng)網(wǎng)絡(luò)模型相對(duì)比，發(fā)現(xiàn)雙注意力機(jī)制模型用于云檢測(cè)更為準(zhǔn)確； 張家強(qiáng)等[12]對(duì)Unet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，編碼器與殘差結(jié)構(gòu)相結(jié)合，提高了模型的泛化能力，比傳統(tǒng)的Unet模型檢測(cè)精度更優(yōu)； 張永宏等[13]提出解碼器不僅在Unet模型的編碼器中引入殘差模塊，而且將密集連接模塊融入解碼器中，可以很好地檢測(cè)出薄云大量的碎云； 康超萌[14]采用自適應(yīng)超像素分割算法與支持向量機(jī)相結(jié)合的方法進(jìn)行云檢測(cè)，可以很好地檢測(cè)出薄云，但在數(shù)據(jù)量大的情況下，效率較低； 張晨等[15]針對(duì)云與云陰影的誤檢現(xiàn)象，使用ResNet作為編碼器與解碼器，跳躍連接部分引入雙重注意力機(jī)制，編碼器與解碼器之間使用改進(jìn)的空洞金字塔池化模塊以提取圖像的多尺度特征，有效提高了云檢測(cè)的精度。

隨著深度學(xué)習(xí)算法的不斷進(jìn)步，越來(lái)越多的遙感問(wèn)題都可以通過(guò)深度學(xué)習(xí)的方法得到有效解決。基于上述研究，本文提出一種融入注意力機(jī)制的密集連接網(wǎng)絡(luò)，以解決深度學(xué)習(xí)算法檢測(cè)小塊云朵效果差的問(wèn)題。首先，借鑒D-LinkNet網(wǎng)絡(luò)[16]的編碼器解碼器思想，使用DenseNet[17]作為編碼器與解碼器以訓(xùn)練到更深層的網(wǎng)絡(luò)結(jié)構(gòu)，能夠提取更多特征； 然后，中間層引入自注意力機(jī)制GCNet-Block[18]可以更好地提取上下文信息，引入雙注意力模塊[19]增加有用信息的特征級(jí)別，降低無(wú)用信息的特征級(jí)別，使網(wǎng)絡(luò)能夠注意到有用的特征； 最后，經(jīng)過(guò)級(jí)聯(lián)的空洞卷積結(jié)構(gòu)，使網(wǎng)絡(luò)在不改變特征圖分辨率的前提下，增大感受野，更加有利于捕獲影像的全局信息，將編碼器階段得到的特征圖與解碼器階段上采樣得到的特征圖進(jìn)行跳躍拼接，實(shí)現(xiàn)了對(duì)編碼器階段得到的特征的復(fù)用。

1 融入注意力機(jī)制的密集連接網(wǎng)絡(luò)

1.1 DenseNet結(jié)構(gòu)

DenseNet網(wǎng)絡(luò)是2017年由Huang等[20]提出，DenseNet借鑒了He等[21]提出ResNet的跳躍連接以減輕梯度消散現(xiàn)象，從而訓(xùn)練到更深層網(wǎng)絡(luò)的思想，直接將任意2層進(jìn)行跳躍連接，以求最大化減輕梯度消散問(wèn)題，從而訓(xùn)練到更深的網(wǎng)絡(luò)。ResNet網(wǎng)絡(luò)模型的公式為:

xl=H(xl-1)+xl-1

，

(1)

式中:xl-1為第l-1層輸出的特征圖;H為對(duì)特征圖進(jìn)行卷積、批歸一化、激勵(lì)等操作;xl為第l層輸出的特征圖。

ResNet模型結(jié)構(gòu)如圖1所示。

圖1 ResNet-Block結(jié)構(gòu)

而DenseNet不同的是其互相連接所有的層，具體來(lái)說(shuō)就是每個(gè)層都會(huì)接受其前面所有層作為其額外的輸入，密集連接模塊(densely connected block)結(jié)構(gòu)如圖2所示，其公式為:

xl=H(x0,x1,...,xl-1)

，

(2)

式中[x0,x1…,xl-1]表示前l(fā)-1層的輸出的特征圖的拼接。

圖2 密集連接模塊

雖然通過(guò)跳躍拼接的方式保留了原始的特征，減輕了梯度傳播過(guò)程中消散現(xiàn)象，但隨著網(wǎng)絡(luò)層數(shù)越來(lái)越深，通道數(shù)也越來(lái)越大，參數(shù)量也越來(lái)越多，從而也難以訓(xùn)練到更深的網(wǎng)絡(luò)。為此DenseNet還包含了一個(gè)重要的轉(zhuǎn)換模塊(transition block)，如圖3所示，用在密集連接模塊之后，將得到的特征圖的通道數(shù)減小為原來(lái)的一半。但僅僅這樣還是會(huì)大大增加通道數(shù)，所以在密集連接模塊中每次拼接之前都加入一個(gè)瓶頸(bottleneck)結(jié)構(gòu)，將其特征圖的通道數(shù)減小為增長(zhǎng)率，這樣就可以大幅度減小通道數(shù)。則經(jīng)過(guò)一個(gè)密集連接模塊之后的特征數(shù)就可以表示為：

C′=C+gn

，

(3)

式中:C′為經(jīng)過(guò)密集連接模塊之后的通道數(shù)；C為經(jīng)過(guò)密集連接模塊之前的通道數(shù)；g為通道數(shù)的增長(zhǎng)率；n為層數(shù)量。

圖3 轉(zhuǎn)換模塊

通過(guò)密集連接模塊后經(jīng)過(guò)轉(zhuǎn)換模塊(transition block)可將其通道數(shù)降為原始的一半，并進(jìn)行下采樣減半尺寸大小，從而更加簡(jiǎn)化了計(jì)算量，提升計(jì)算效率。

1.2 注意力機(jī)制

1.2.1 雙注意力機(jī)制

隨著計(jì)算機(jī)視覺(jué)的發(fā)展，各種注意力機(jī)制相繼被提出，從而使計(jì)算機(jī)關(guān)注有用信息，忽略不感興趣的信息。注意力機(jī)制分為通道注意力機(jī)制與位置注意力機(jī)制。

通道注意力機(jī)制最早提出的是SENet[22]，通過(guò)壓縮激勵(lì)(squeeze-exciting)的方式對(duì)每個(gè)通道進(jìn)行加權(quán)，實(shí)現(xiàn)對(duì)信息量大的通道重點(diǎn)關(guān)注，信息量少的通道關(guān)注力度更小。然而，雙注意力機(jī)制中的通道注意力模塊不像CBAM(convolutional block attention module)[23]中的通道注意力機(jī)制還需手工設(shè)計(jì)感知機(jī)，更加方便了應(yīng)用。雙注意力機(jī)制的通道注意力模塊如圖4所示。

圖4 通道注意力模塊

通道注意力模塊的具體流程如下： 首先將特征圖A變形成C×N(其中N=H×W)大小，再轉(zhuǎn)置成N×C大小，與另一個(gè)只變形的特征圖矩陣相乘得到C×C大小的特征圖，再經(jīng)過(guò)softmax層，得到不同通道的權(quán)值特征圖X，再與變形過(guò)后的A進(jìn)行矩陣相乘得到C×N大小的特征圖，再變形成C×H×W大小的特征圖，最后與原始的A進(jìn)行矩陣相加，得到通道加權(quán)后的特征圖Z。

位置注意力模塊的最早應(yīng)用是CBAM中的空間注意力(spatial attention model,SAM)模塊，其首先將原始的特征圖分別對(duì)同一位置不同通道進(jìn)行全局最大池化與全局平均池化，分別生成通道數(shù)為1的特征圖，然后將兩者拼接起來(lái)，繼而通過(guò)一個(gè)卷積核尺寸為7，填充尺寸為3的卷積將拼接起來(lái)的特征圖的通道數(shù)降為1，從而達(dá)到獲取其位置權(quán)重的目的。

而雙注意力機(jī)制中的位置注意力模塊則是使用通過(guò)自相關(guān)矩陣的變換得到位置權(quán)重，可以更注意全局特征。其模型結(jié)構(gòu)如圖5所示。

圖5 位置注意力模塊

其結(jié)構(gòu)與通道注意力模塊類似，區(qū)別是其進(jìn)行矩陣相乘時(shí)得到的特征圖大小為(H×W，H×W)，將所有通道信息進(jìn)行了壓縮，然后進(jìn)行softmax，得到各個(gè)位置的權(quán)值S。

1.2.2 全局上下文建模模塊

雙注意力機(jī)制可以融合通道注意力機(jī)制與位置注意力機(jī)制，雖然其加入了自相關(guān)矩陣大大改善了注意力陷入局部的問(wèn)題，但充分利用全局的上下文信息是有必要的。所以在進(jìn)行融合雙重注意力機(jī)制之前，先將全局的上下文信息提取出來(lái)。

為了解決此問(wèn)題，最早提出的是NLNet(non-local net)[24]，它利用自我注意機(jī)制建立遠(yuǎn)程依賴，使網(wǎng)絡(luò)能夠更全面地理解圖像，從而不會(huì)使計(jì)算機(jī)局部感知圖像。對(duì)于每個(gè)查詢點(diǎn)，首先計(jì)算該點(diǎn)與所有點(diǎn)的點(diǎn)對(duì)關(guān)系，得到注意力圖，然后對(duì)所有點(diǎn)的特征進(jìn)行加權(quán)求和，得到與查詢端相關(guān)的全局特征，最后將全局特征加入到每個(gè)查詢點(diǎn)的特征中，完成遠(yuǎn)程依賴關(guān)系的建模(圖6)。

圖6 非局部神經(jīng)網(wǎng)絡(luò)

但是由于NLNet內(nèi)部有較多的矩陣變換運(yùn)算，導(dǎo)致計(jì)算量大大增加，所以極大地限制了NLNet的使用，為此GCNet提出了簡(jiǎn)化NLNet版本，即Simple-NLNet，并結(jié)合了SENet計(jì)算量少的優(yōu)點(diǎn)，從而不僅有效地建立遠(yuǎn)程依賴，又節(jié)省了網(wǎng)絡(luò)結(jié)構(gòu)的計(jì)算量。GCNet的GC-Block模塊如圖7所示。

圖7 全局上下文建模模塊

對(duì)于GCNet其可以分為3個(gè)步驟： 首先是需要使用全局平均池化進(jìn)行上下文建模(context modeling)，原始大小為C×H×W一方面先將其變形成C×HW大小的特征圖，另一方面使用1×1卷積降低通道數(shù)為1,生成1×H×W大小的特征圖，再變形成HW×1×1大小的特征圖，經(jīng)過(guò)softmax層后與C×HW大小的特征圖進(jìn)行矩陣相乘，得到C×1×1大小的特征圖，至此每個(gè)通道的特征圖的大小都變?yōu)?×1，完成了上下文建模。第二步捕獲通道間的依賴，先將C×1×1大小的特征圖經(jīng)過(guò)一個(gè)瓶頸結(jié)構(gòu)，降低通道數(shù)，圖中r為通道數(shù)減少的倍數(shù)，從而減小了計(jì)算量，然后加入歸一化層提高泛化能力，使用ReLU函數(shù)進(jìn)行激勵(lì)，得到非線性關(guān)系，最后還原通道數(shù)。第三步是將原始的特征圖與變換后的特征圖使用相加操作進(jìn)行融合。

1.3 空洞卷積模塊

感受野表示單個(gè)像素點(diǎn)在上層卷積網(wǎng)絡(luò)特征圖中的區(qū)域范圍大小，感受野越大，則表示通過(guò)卷積得到一個(gè)像素點(diǎn)所使用的上層特征圖的像素個(gè)數(shù)越多，即所使用到的特征越多。感受野的大小決定了網(wǎng)絡(luò)能否獲取特征圖的全局信息。擴(kuò)大感受野最簡(jiǎn)單的方法就是增大卷積核的大小，但是卷積核大小的增大一定會(huì)使計(jì)算量增加，所以隨著Deeplab V1[25]提出的空洞卷積，即擴(kuò)大卷積核并在卷積核中使用部分用0來(lái)填充，從而可以簡(jiǎn)單方便地解決計(jì)算量增加的問(wèn)題。如圖8所示，特征圖分為同等的6份，第一層為分別使用1,2,4,8,16大小空洞率進(jìn)行空洞卷積，后面5層類似，最后將空洞卷積后的特征圖與最后一層的原始特征圖相加，從而可以增大感受野。

1.4 融合注意力機(jī)制的密集連接網(wǎng)絡(luò)

在上述研究的基礎(chǔ)上，本文提出融合注意力機(jī)制的密集連接網(wǎng)絡(luò)，具體模型結(jié)構(gòu)如圖9所示。

圖9 融入注意力機(jī)制的密集連接網(wǎng)絡(luò)

1)編碼器階段： 將裁剪好的3通道影像經(jīng)過(guò)一個(gè)初始模塊，初始模塊由4個(gè)部分組成，第一部分為卷積核大小為7，填充大小為3的卷積層以不改變特征圖的大小，輸出通道數(shù)為64以減弱網(wǎng)絡(luò)對(duì)影像失真影響； 第二部分為批歸一化層，其作用加速模型收斂以及一定程度上緩解深層網(wǎng)絡(luò)的梯度彌散問(wèn)題； 第三部分為激勵(lì)層，ReLU可以增加網(wǎng)絡(luò)的非線性，并使一部分神經(jīng)元的輸出變?yōu)?，減少了參數(shù)之間的相互依賴，防止過(guò)擬合； 第四部分為最大池化層，最大池化層將原始特征圖的寬高尺寸減半，減少了參數(shù)量，并一定程度上增加了網(wǎng)絡(luò)的非線性關(guān)系。然后分別經(jīng)過(guò)4個(gè)密集連接模塊與轉(zhuǎn)換模塊提取特征，密集連接模塊有效地減弱了梯度消散問(wèn)題，轉(zhuǎn)換模塊有效地減少了參數(shù)量，使網(wǎng)絡(luò)不至于“參數(shù)爆炸”。其中4個(gè)密集連接模塊的層數(shù)量分別為6，8，12，16。

2)中間層： 首先通過(guò)GC-Block提取特征圖的上下文信息，雙注意力機(jī)制融合了位置注意力與通道注意力信息，使計(jì)算機(jī)更好地注意需要的特征，再將結(jié)果送入空洞卷積模塊中使其在不改變特征圖分辨率的前提下，增大感受野，進(jìn)一步提取特征圖的全局特征。

3)解碼器階段： 解碼器部分首先上采樣使特征圖的通道數(shù)減小為剛通過(guò)編碼器階段DenseBlock3的特征圖的通道數(shù)，圖中m為當(dāng)前層特征圖的通道數(shù)； 然后與其進(jìn)行跳躍拼接，從而特征圖通道數(shù)變?yōu)樵瓉?lái)的2倍，跳躍拼接可以實(shí)現(xiàn)特征復(fù)用，保留了更多的原始特征； 經(jīng)過(guò)DenseBlock之后，通道數(shù)增加，再通過(guò)上采樣降低通道數(shù)，直到最后將特征圖變?yōu)橥ǖ罃?shù)為1的二值圖。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備與參數(shù)設(shè)置

本文的實(shí)驗(yàn)均在ubantu16.04，CUDA 10.1，NVIDIA UNIX 64核的pytorch1.2.0深度學(xué)習(xí)框架下進(jìn)行的。

本次實(shí)驗(yàn)的數(shù)據(jù)來(lái)自自然資源部國(guó)土衛(wèi)星遙感應(yīng)用中心提供的國(guó)產(chǎn)衛(wèi)星遙感影像，其中包括高分一號(hào)、高分二號(hào)、高分六號(hào)、資源衛(wèi)星影像，由于我國(guó)中東部地區(qū)云量相對(duì)較小，所以大部分選取新疆、西藏及內(nèi)蒙古等邊疆地區(qū)的遙感影像，小部分選取中東部地區(qū)的遙感影像，共596景，比例關(guān)系約為6∶4。標(biāo)簽制作為手工勾繪云矢量，后使用自制python腳本將其轉(zhuǎn)化為二值圖標(biāo)簽。原始標(biāo)簽及其真值標(biāo)簽部分?jǐn)?shù)據(jù)如表1所示。

表1 原始影像及其真值標(biāo)簽

訓(xùn)練之前首先經(jīng)過(guò)預(yù)處理，進(jìn)行影像數(shù)據(jù)的擴(kuò)充，方法有： 色彩抖動(dòng)、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、順序裁剪、旋轉(zhuǎn)等。首先進(jìn)行順序裁剪，將原始的影像與標(biāo)簽裁剪成512像素×512像素大小的影像共2 468張，再使用色彩抖動(dòng)、平移、旋轉(zhuǎn)、尺度縮放、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)進(jìn)行擴(kuò)充數(shù)據(jù)集，共得到12 340張，按照8∶2的比例分為訓(xùn)練集9 872張與測(cè)試集2 468張。預(yù)處理的目的是擴(kuò)充數(shù)據(jù)量，對(duì)數(shù)據(jù)進(jìn)行增廣，防止過(guò)擬合，提高模型的泛化能力。增強(qiáng)后的影像及其真值標(biāo)簽見(jiàn)表2。

表2 增強(qiáng)之后的影像及真值標(biāo)簽

(續(xù)表)

參數(shù)設(shè)置： batchsize為4，步長(zhǎng)為20，使用的優(yōu)化器為Adam，初始學(xué)習(xí)率為0.001，自動(dòng)調(diào)整學(xué)習(xí)率，每次調(diào)整變?yōu)樵瓉?lái)的1/2，直到損失值7次不再下降為止。

2.2 損失函數(shù)

由于這是針對(duì)二分類問(wèn)題，所以使用BCELoss作為損失函數(shù)。BCELoss是二分類問(wèn)題中優(yōu)秀的損失函數(shù)，其公式為：

，

(4)

，

(5)

式中:GT為標(biāo)簽影像(ground true);P為預(yù)測(cè)影像(predicet mask);B為批大小;W′為影像的寬度；H′為高度；gtij為標(biāo)簽影像在i,j位置的像素值；pij為預(yù)測(cè)影像在i,j位置的像素值。

2.3 評(píng)價(jià)指標(biāo)

這里選取的指標(biāo)為交并比IoU、召回率recall以及精確率precision。其計(jì)算方式分別為：

，

(6)

，

(7)

，

(8)

式中:TP為真陽(yáng)性，表示原本為云預(yù)測(cè)為云的數(shù)量；TN為真陰性，表示原本為非云預(yù)測(cè)為非云的數(shù)量；FP為假陽(yáng)性，表示原本為非云錯(cuò)誤預(yù)測(cè)為云的數(shù)量；FN為假陰性，表示原本為云錯(cuò)誤預(yù)測(cè)為非云的數(shù)量。其中3個(gè)指標(biāo)越高表示精度越高。

2.4 云檢測(cè)結(jié)果分析

由于影像不是多光譜影像，不能利用以熱紅外波段實(shí)施云檢測(cè)的FMask算法進(jìn)行檢測(cè)，所以傳統(tǒng)方法分別使用Otsu閾值算法、Otsu多閾值算法及K-means聚類算法進(jìn)行云檢測(cè)。深度學(xué)習(xí)算法分別使用SegNet，Unet，D-LinkNet50，未加注意力機(jī)制的本文方法(D-DenseNet)及本文方法(AD-DenseNet)對(duì)增強(qiáng)后的影像進(jìn)行訓(xùn)練。首先進(jìn)行定量分析，其中在訓(xùn)練集上的不同算法模型評(píng)價(jià)指標(biāo)表現(xiàn)如表3所示，驗(yàn)證集上的不同算法模型的評(píng)價(jià)指標(biāo)表現(xiàn)如表4所示，從表3—4中可以看出，傳統(tǒng)算法的精度較深度學(xué)習(xí)算法的精度低，而在深度學(xué)習(xí)算法中，無(wú)論在訓(xùn)練集上還是在驗(yàn)證集上的召回率、交并比以及精確率都為本文方法精度最高。加上注意力機(jī)制后交并比增長(zhǎng)約一個(gè)百分點(diǎn)，召回率與精確率也都有小幅度增長(zhǎng)。

表3 訓(xùn)練集上的不同算法模型評(píng)價(jià)結(jié)果

表4 驗(yàn)證集上的不同算法模型評(píng)價(jià)結(jié)果

圖10為AD-DenseNet算法的損失值與交并比隨著訓(xùn)練輪數(shù)epoch的變化，其中一個(gè)epoch表示全部數(shù)據(jù)訓(xùn)練一次。一共訓(xùn)練了120個(gè)epoch，訓(xùn)練集與測(cè)試集上的交并比均高于0.91，并且最后都達(dá)到收斂。圖11為AD-DenseNet算法的精確率與召回率隨著epoch的變化曲線，可以發(fā)現(xiàn)最后均收斂，并且精確率都在0.95以上。不同算法云檢測(cè)結(jié)果如圖12所示。

圖10 AD-DenseNet算法損失值與交并比隨epoch的變化曲線

圖11 AD-DenseNet算法精確率與召回率隨epoch的變化曲線

(a) 原始云影像

(b) 真值標(biāo)簽(c) Otsu閾值法(d) Otsu多閾值法

(e) K-means聚類法(f) SegNet(g) Unet

(h) D-LinkNet50(i) D-DenseNet(j) AD-DenseNet

首先使用傳統(tǒng)方法Ostu閾值法、Ostu多閾值法及K-means聚類法對(duì)原始影像進(jìn)行云檢測(cè)，結(jié)果如圖12(c)—(e)所示，從中可以看到Otsu閾值法與K-means聚類法檢測(cè)效果明顯不佳，由于其對(duì)噪聲魯棒性較差，Otsu多閾值法可以較好地檢測(cè)出云的范圍，但是從圖12(d)中橙色橢圓虛線框中可以看到有明顯的錯(cuò)檢現(xiàn)象。對(duì)于深度學(xué)習(xí)方法，分別使用SegNet，Unet，D-LinkNet50，D-DenseNet及AD-DenseNet進(jìn)行預(yù)測(cè)測(cè)試集中的影像，首先，將原始影像進(jìn)行順序切分為512像素×512像素大小的小影像，再使用訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，最后按照規(guī)則進(jìn)行還原成原始影像大小?？v觀圖12的(f)—(j)，其大體上沒(méi)什么差別，預(yù)測(cè)精度都較高，但對(duì)于小塊云朵的檢測(cè)卻不是如此。從圖12(a)中可以看到，原始影像在紅色框中有2片較小的云，由于其后方有明顯的云的陰影，所以判定其為云，真值標(biāo)簽只勾繪出了一片云，SegNet，UNet，D-LinkNet及D-DenseNet均未預(yù)測(cè)出2片小塊云，但AD-DenseNet算法卻準(zhǔn)確預(yù)測(cè)出其位置及形狀。圖12(a)中黃色框中，有一塊較小的薄云，放大之后可清晰看到其云陰影，其中SegNet，UNet和D-LinkNet均未預(yù)測(cè)出此小塊云，D-DenseNet與AD-DenseNet正確預(yù)測(cè)出其位置及形狀。

3 結(jié)論

本文針對(duì)傳統(tǒng)的深度學(xué)習(xí)算法不能很好地檢測(cè)出小塊云的問(wèn)題，提出了一種融合注意力機(jī)制的密集連接網(wǎng)絡(luò)(attention DBlock densely connected networks,AD-DenseNet)。

1)首先從編碼器與解碼器結(jié)構(gòu)出發(fā)，不再使用通用的ResNet-Block結(jié)構(gòu)作為骨干網(wǎng)絡(luò)，使用DenseNet-Block作為編碼器與解碼器，從而可以訓(xùn)練到更深層的網(wǎng)絡(luò)，提取到更多的影像特征。

2)中間層使用GC-Block提取全局特征，防止網(wǎng)絡(luò)陷入局部，引入雙注意力機(jī)制，使網(wǎng)絡(luò)更加注意有用信息，抑制無(wú)關(guān)信息。

3)中間層加入DBlock結(jié)構(gòu)，使網(wǎng)絡(luò)在不改變分辨率的情況下增大感受野，以提取全局特征。

從實(shí)驗(yàn)結(jié)果來(lái)看，交并比可以達(dá)到0.91以上，精確率可以達(dá)到0.95以上，本文方法可以很好地檢測(cè)出小塊云朵，較傳統(tǒng)方法有所提高。

但是對(duì)于雪的誤判還存在問(wèn)題，這將是下一步需要研究的方向。