雒萌,張圣微,2,3,霍雨,劉志強(qiáng),韓永婷

(1.內(nèi)蒙古農(nóng)業(yè)大學(xué) 水利與土木建筑工程學(xué)院,呼和浩特 010018;(2.內(nèi)蒙古自治區(qū)水資源保護(hù)與利用重點(diǎn)實(shí)驗(yàn)室,呼和浩特 010018;(3.內(nèi)蒙古自治區(qū)農(nóng)牧業(yè)大數(shù)據(jù)研究與應(yīng)用重點(diǎn)實(shí)驗(yàn)室,呼和浩特 010018;(4.內(nèi)蒙古自治區(qū)水利事業(yè)發(fā)展中心,呼和浩特 010018)

0 引言

近些年來,深度學(xué)習(xí)逐漸成為數(shù)據(jù)密集型遙感科學(xué)的核心,并為遙感影像中地物的識別分類提供了巨大的支持。傳統(tǒng)的遙感圖像分類普遍依靠人工特征選擇,工作量大,特征提取不明顯且不具有典型性[1]。卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks,CNN)在一定程度上克服了傳統(tǒng)分類方法的一些局限性,但經(jīng)典CNN模型由于全連接層的存在,模型參數(shù)量巨增,訓(xùn)練過程難度增加。為了解決這些問題,Long等[2]于2015年提出了全卷積神經(jīng)網(wǎng)絡(luò)語義分割,以1×1卷積替代全連接層,實(shí)現(xiàn)了像素級分類,即影像分割。后續(xù)發(fā)展出了基于全卷積網(wǎng)絡(luò)(full convolutional networks,FCN)結(jié)構(gòu)的多種圖像分割結(jié)構(gòu)。例如,對稱編碼U-Net網(wǎng)絡(luò)[3]使用對稱鏡像折疊方式來推理缺失的上下文信息,能夠?qū)⑸舷挛男畔⑾蚋邔臃直媛蕚鞑?但其性能沒有得到充分的開發(fā)。在高光譜遙感中,很多網(wǎng)絡(luò)無法克服同物異譜的問題。最近出現(xiàn)的語義分割算法如交叉?zhèn)伪O(jiān)督的語義分割[4]、多重弱監(jiān)督約束下的語義分割[5]、無源域自適應(yīng)的語義分割[6]、增強(qiáng)對象上下文的OCNet網(wǎng)絡(luò)[7]等,僅考慮了像元的空間領(lǐng)域特征,無法關(guān)注到光譜維度的信息。Szegedy等[8]提出了一種基于連通性和稀疏性因子的聚類技術(shù)來改善聚類并減少噪聲的影像,但其沒有考慮光譜之間的相關(guān)性。這些方法普遍采用單一信息流進(jìn)行地物分割,割裂相鄰像元之間的光譜相關(guān)性,且上采樣過程單一,主要應(yīng)用于全色和多光譜中,無法有效地推廣到高光譜領(lǐng)域。為此,本文提出了融合全卷積神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)場的(full convolutional networks-conditional random field,FCN-CRF)雙流框架高光譜影像分割算法,將全卷積分割網(wǎng)絡(luò)與馬爾科夫隨機(jī)場進(jìn)行結(jié)合,來解決遙感影像中單一信息流缺乏驗(yàn)證性問題和空譜一致性提取問題,并將其應(yīng)用于高光譜影像中語義分割中。

1 FCN-CRF算法

1.1 算法介紹

圖1為本文提出的FCN-CRF算法,最左側(cè)為數(shù)據(jù)輸入端,高光譜影像先進(jìn)行主成分降維(principal components analysis,PCA)[9],光譜信息保留量為99.99%,信息流按照FCN、CRF雙流框架進(jìn)行傳遞。在FCN部分,骨干網(wǎng)絡(luò)選擇VGG19,剔除模型的后5層,保留了特征提取結(jié)構(gòu)和下采樣操作。上采樣過程中使用混合上采樣模塊(mix up-sampling,MUS)、擴(kuò)張路徑與壓縮路徑進(jìn)行對稱分布,配合跳層連接方式對每個像素進(jìn)行預(yù)測。在分割網(wǎng)絡(luò)輸出端,使用1×1卷積核進(jìn)行影像分割。另一方向?yàn)镃RF條件隨機(jī)場,融合一元勢能和二元勢能,結(jié)合無向圖模型最終確定每個像元?dú)w屬類別。兩條路徑結(jié)合后最終生成分割結(jié)果。

圖1 FCN-CRF結(jié)構(gòu)示意圖

1.2 FCN部分介紹

在FCN部分中,共有9個block,其中block1～block4最后一層為跳躍連接層。block1和block2包含兩個卷積層,block3～block4包含4個卷積層,block5包含3個卷積層,block6～block7包含4個卷積層,dropout為0.3。block8包含2個卷積層,dropout為0.2。block9包含2個卷積層,1個全連接層,dropout為0.1。每層block均采用3×3卷積核,進(jìn)行padding圖像填充,池化層為2×2,網(wǎng)絡(luò)結(jié)構(gòu)中的激活函數(shù)均使用ReLU。

1.3 MUS模塊介紹

在實(shí)際應(yīng)用中,擴(kuò)張卷積存在一個理論問題,針對具體像素(x,y),對其有貢獻(xiàn)的信息來自于上一層以該像素為中心的附近區(qū)域。對于一個標(biāo)準(zhǔn)卷積核k×k,其擴(kuò)張卷積的大小為kd×kd。由于擴(kuò)張卷積在卷積核中引入了零,所以在kd×kd區(qū)域中參與計(jì)算的實(shí)際像素只是k×k。它們之間有r-1的間隔。如果k=3,r=2,則該區(qū)域中只有9個像元被用于計(jì)算。像素(x,y)以棋盤方式查看信息,失去了很大一部分的信息(當(dāng)r=2時,損失占比74%)。這會導(dǎo)致輸入的樣本變得非常稀疏,局部信息完全缺失[10]。為此,本文提出了MUS模塊來解決這個問題,結(jié)構(gòu)如圖2所示。MUS在擴(kuò)張卷積中采用了兩種不同的膨脹系數(shù),膨脹率r為1和2,分別應(yīng)用在x方向和y方向,共4種模式。圖2中綠色部分顯示為膨脹卷積點(diǎn),4種模式分別為dx=1、dy=1,dx=2、dy=1,dx=1、dy=2,dx=2、dy=1。通過MUS遍歷每個通道的所有膨脹模式,能夠得到5×5×4的影像立方體,經(jīng)過特征融合后形成一個單一5×5卷積陣列。

圖2 MUS結(jié)構(gòu)示意圖

1.4 CRF部分介紹

高光譜影像經(jīng)過PCA降維后,通過雙流框架中的另一路徑輸入到CRF條件隨機(jī)場中。它能夠結(jié)合影像的空間分布距離,構(gòu)成CRF的二元勢能函數(shù)。CRF的一元勢能量是通過FCN部分預(yù)測出的熱圖構(gòu)成的。一元勢和二元勢能量輸入條件隨機(jī)場進(jìn)行迭代訓(xùn)練,并將其分別定義為觀測值和狀態(tài)值,通過最大化后驗(yàn)概率計(jì)算,得到符合吉布斯分布的概率圖,能夠?qū)Ψ指罱Y(jié)果構(gòu)造勢能函數(shù)進(jìn)行高效建模[11]。本研究采用了八鄰域策略。

1.5 損失函數(shù)

研究使用了交叉熵?fù)p失函數(shù)來評估模型,如式(1)所示。其中M為類別的數(shù)量,N為樣本數(shù)量。yic是符號函數(shù)(0或1),如果樣本i的真實(shí)類別等于c,則取1,否則取0,其目的是判斷像元類別。pic為i屬于類別c的預(yù)測概率。

(1)

2 實(shí)驗(yàn)與結(jié)果

2.1 評價指標(biāo)

本研究采用的分割精度指標(biāo)為OA、AA和Kappa。OA代表了分類正確的像元占所有樣本數(shù)量的比例,AA代表了查全率的和的平均值,Kappa系數(shù)是基于混淆矩陣計(jì)算得的分割精度。

2.2 數(shù)據(jù)集

本文選擇了Pavia University和Indian Pines兩種高光譜數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)與評價(表1)。Pavia University包含asphalt、meadows、gravel、trees、painted metal sheets、bare soil、bitumen、self-blocking bricks、shadows共9類地物。Indian Pines包含alfalfa、corn-notill、corn-mintill、corn、grass-pasture、grass-trees、grass-pasture-mowed、hay-windrowed、oats、soybean-nottill、soybean-mintill、soybean-clean、wheat、woods、buildings-grass-trees-drives、stone-steel-towers共16類地物。數(shù)據(jù)集劃分為3個部分,其中訓(xùn)練集占70%,測試集占15%,驗(yàn)證集占15%。

表1 高光譜圖像數(shù)據(jù)集

2.3 實(shí)驗(yàn)環(huán)境配置

本實(shí)驗(yàn)使用Python 3.6.0和Keras 2.2.4框架,程序接口為TensorFlow 1.11.0。訓(xùn)練批次epoch為40,學(xué)習(xí)率為0.000 1。以空間隔離方式選取樣本,確保每類地物的樣本在圖像上分布均勻,避免在影像中集中,降低模型的泛化性。本文與一些新穎的算法進(jìn)行了對比,如UwU-Net[12]、SKNet[13]、LSTM[14]、DANN[15]和DeeplabV3+[16]算法。其中訓(xùn)練樣本631個,驗(yàn)證樣本106個,測試樣本105個。

2.4 Pavia University實(shí)驗(yàn)結(jié)果

Pavia University數(shù)據(jù)結(jié)果如表2所示,FCN-CRF分類精度最高,AA比DANN算法高6.61%,OA比DANN算法高6.86%。3D-CNN算法精度在5種方法中與FCN-CRF相接近。相比于主流算法DeeplabV3+的精度,FCN-CRF算法AA增加了4.56%,OA增加了3.38%。

表2 Pavia University數(shù)據(jù)集分類精度

6種算法中精度較高的為FCN-CRF與3D-CNN,為此單獨(dú)對比兩種算法的訓(xùn)練過程,如圖3所示。在模型訓(xùn)練過程中,FCN-CRF在20 epoch時訓(xùn)練精度與驗(yàn)證精度達(dá)到了穩(wěn)定,最終保持在0.99附近,損失率最終在0.02～0.03之間。而3D-CNN結(jié)構(gòu),在經(jīng)過40 epoch的訓(xùn)練后,精度只有0.80左右,且損失率較大,為0.4左右。

圖3 FCN-CRF與3D-CNN的精度對比

在PU數(shù)據(jù)集中,FCN-CRF算法對地物的分割較為準(zhǔn)確,在6種分割算法中精度最高(圖4)。以gravel為例,FCN-CRF分割算法對其存在的位置做出了較為完整的劃分,符合遙感影像中地物的實(shí)際分布情況,而UwU-Net、LSTM、DANN分割算法無法區(qū)分出圖中左下角的gravel。DeeplabV3+對于brick的識別較弱,其外形輪廓分割較差。從整體上看,PU數(shù)據(jù)集中的人工建筑物和自然地表能夠被FCN-CRF較好地分割。

2.5 Indian Pines實(shí)驗(yàn)結(jié)果

為了進(jìn)一步測試FCN-CRF算法的高光譜影像分割效果,本文對Indian Pines高光譜數(shù)據(jù)集做了測試(圖5),6種算法分割精度如表3所示。結(jié)果顯示,FCN-CRF方法的精度最高,AA為98.54%,OA為98.60%,比3D-CNN分別高1.8%、1.1%,比UwU-Net分別高7.23%、6.89%,比LSTM分別高3.26%、4.16%,比DANN分別高6.41%、6.45%,比DeeplabV3+分別高2.53%、2.83%。

表3 Indian Pines數(shù)據(jù)集分類精度

圖5 Indian Pines分類結(jié)果

2.6 消融實(shí)驗(yàn)

為了驗(yàn)證FCN-CRF模型的有效性,本文設(shè)計(jì)了消融實(shí)驗(yàn)來進(jìn)行測試。消融實(shí)驗(yàn)的部分設(shè)計(jì)策略如圖6所示,策略A為去除CRF的FCN算法,策略B至E為逐層剔除跳層連接策略的全卷機(jī)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),策略F為單獨(dú)CRF算法。CRF作為一個獨(dú)立的后處理過程,本文也設(shè)計(jì)了3種不同的前處理模型與其進(jìn)行對比,與FCN-CRF算法的精度對比如表4所示。

圖6 消融實(shí)驗(yàn)

從表4中可以看到,在兩幅高光譜影像中,本文提出的FCN-CRF算法均為最高精度,超過了單獨(dú)FCN的和CRF算法。與FCN相比,本新型分割算法在PU數(shù)據(jù)集上將AA、OA、Kappa分別提高了10.64%、8.72%、0.09,在IP數(shù)據(jù)集上分別提高了9.85%、11.47%、0.09。在搭配CRF的幾種模型中,FCN-CRF的精度也最高,與ResNet50-CRF相比,在PU數(shù)據(jù)集上,AA、OA、Kappa分別提高了9.7%、7.59%、0.07,在IP數(shù)據(jù)集上分別提高了9.81%、9.41%、0.1。

3 討論

3.1 模型參數(shù)量對比

除了從精度方面對比幾種算法外,本研究還從模型參數(shù)數(shù)量方面對比了不同分割方法。如圖7所示。雖然FCN-CRF有177萬參數(shù)量,但其模型精度最高,方法最好。UwU-Net參數(shù)量最少,為130萬,但其精度最低,實(shí)驗(yàn)效果最差。DeeplabV3+的參數(shù)量較多,為278萬,其精度低于3D-CNN。其中,FCN-CRF的速度為3.5 fps/s,3D-CNN的速度為0.09 fps/s,UwU-Net的速度為3.2 fps/s,LSTM的速度為2.7 fps/s,DANN的速度為2.4 fps/s,DeeplabV3的速度為3 fps/s,表明了FCN-CRF算法的運(yùn)行效率最高。

圖7 不同實(shí)驗(yàn)方法和模型大小比較

3.2 樣本數(shù)量與精度

本研究對比了6種算法在不同訓(xùn)練樣本數(shù)量下的精度曲線,其中訓(xùn)練集占比70%、測試集占比15%、驗(yàn)證集占比15%。從圖8中可以看到,6種分割算法整體上隨著樣本數(shù)量的增加,精度呈現(xiàn)增加趨勢。本研究提出的FCN-CRF精度在6種方法中最高。

圖8 6種算法訓(xùn)練樣本與訓(xùn)練精度曲線

3.3 FCN-CRF算法分析

FCN-CRF將全卷積結(jié)構(gòu)與鑒別式幾率模型條件隨機(jī)場進(jìn)行了結(jié)合,使得其在高光譜影像分割過程中表現(xiàn)出了優(yōu)異的效果。從實(shí)驗(yàn)結(jié)果可以看到,在PU和IP這兩景高光譜影像中,豐富的光譜信息經(jīng)過PCA降維后能夠提取信息熵最大的波段,FCN-CRF比單獨(dú)的全卷積結(jié)構(gòu)和單獨(dú)的條件隨機(jī)場有著更加出色的泛化性,其模型性能有較大的提升。新增的MUS模塊能夠擴(kuò)展不同尺度的上采樣信息,在跳躍式傳遞中能夠使特征圖更好地結(jié)合強(qiáng)語義層不同方向的擴(kuò)展信息。CRF具有靈活的空-譜信息采集能力,能夠考慮相鄰像元的交互信息,進(jìn)而提升整個影像的分割精度。在本研究中,還單獨(dú)測試了CRF的3種常見連接方式,4連接精度為64.12%,8連接精度為79.36%,全連接精度為75.14%。不同于DeeplabV1中的全連接條件隨機(jī)場,雙流框架FCN-CRF雖然僅僅考慮了光譜相關(guān)性及空間相關(guān)性,但效果較全連接更好,可能由于高光譜影像二元勢全連接中由于不同地物光譜趨勢差異化導(dǎo)致了隨機(jī)場訓(xùn)練精度也較低,而8連接則較好地考慮了同類地物光譜的相似性,對分割邊界的定位也較為準(zhǔn)確。在二元勢中,模型不再局限于單個像元的光譜特征,能夠充分學(xué)習(xí)地物的領(lǐng)域特征和光譜特征,發(fā)揮馬哈拉諾比斯矩陣的優(yōu)勢。DeeplabV3+中放棄了CRF,用深度可分離卷積替代普通卷積核,但其解碼器預(yù)測的目標(biāo)邊界較為粗糙,也缺乏特征切分,導(dǎo)致多尺度聚合影像語義信息在建筑物分割場景中效果較差。在復(fù)雜遙感場景中,空間金字塔池化結(jié)構(gòu)雖然采用了不同膨脹率的擴(kuò)張卷積,但其在各支路之間缺乏相關(guān)性,而這正是FCN-CRF模型中MUS模塊的優(yōu)勢。從結(jié)構(gòu)上對比,FCN-CRF比多注意力U-Net網(wǎng)絡(luò)具有更少的上采樣層,整體模型結(jié)構(gòu)更為輕捷[17]。

從PU和IP兩景影像上看,雙流高光譜影像分割框架FCN-CRF對城市建筑用地的分割效果比較好,主要由于人工建筑物的光譜反射率較為穩(wěn)定,受自身性質(zhì)與外界光照等環(huán)境因素的干擾程度反映較弱。在PU影像的右上地物類型較多的區(qū)域中,bare soil、meadows和tree 3種地物的分割范圍也較為細(xì)致,整體上看,分割結(jié)果與真實(shí)地表情況較為符合,邊界分割明確,地物輪廓完整。在IP影像部分區(qū)域中,分割后的農(nóng)作物范圍與標(biāo)簽圖有一定的差距,比如grass-trees、soybean-mintill和woods,主要原因在于植被物候會隨著生長季節(jié)的變化而產(chǎn)生一定的變異性,同時,光譜反射率與水分含量、色素水平、及冠層結(jié)構(gòu)的有關(guān)。整體上看,健康植被富含葉綠素,能夠反射更多綠光,吸收紅色和藍(lán)色光[18]。不同于人工建筑物,其不同的生長階段所呈現(xiàn)的光譜反射率并不完全一致,同一地物由于外界因素的影響或自身生長情況的差異性也會存在反射率不一致現(xiàn)象,這將導(dǎo)致CRF在計(jì)算鄰域像元光譜相關(guān)性時會產(chǎn)生不穩(wěn)定性,導(dǎo)致分割時會對邊界產(chǎn)生一定的模糊,但分割主體并不會受到影響,在圖5(c)中表現(xiàn)為大塊地物分割準(zhǔn)確。以IP中corn-mintill和corn-notill為例,其色素池的吸收反射波段雖然存在一定的相似性,但FCN-CRF仍能夠較好地區(qū)別二者,不受兩種地物CAM與二元勢能的相似性影響。

4 結(jié)束語

本研究設(shè)計(jì)了新型的高光譜分割算法FCN-CRF,可以有效地增強(qiáng)高光譜遙感影像底層特征和抽象特征。具體來說,在數(shù)據(jù)輸入端進(jìn)行PCA降噪處里,上采樣中開發(fā)了MUS模塊,全卷積輸出的CAM會結(jié)合高光譜遙感二元勢共同輸入CRF進(jìn)行迭代運(yùn)算,能夠得到優(yōu)化的概率圖進(jìn)行分割。經(jīng)過測試,FCN-CRF在PU高光譜影像中精度達(dá)到了99.01%,在IP高光譜遙感影像中達(dá)到了98.60%,其精度超過了3D-CNN、UwU-Net、LSTM、DANN和DeeplabV3+。在參數(shù)量和運(yùn)行效率方面,5種算法中FCN-CRF性能最優(yōu),計(jì)算機(jī)運(yùn)行空間較少,性能最佳。在不同的地物類型中,FCN-CRF分割城市高光譜遙感影像具有較大的優(yōu)勢,能準(zhǔn)確分割各類人工建筑物。在地表綠色植被密集的高光譜遙感中,植物主體部分分割準(zhǔn)確,但會在不同農(nóng)作物類型交界處產(chǎn)生一定程度的像元混同。