盧儒，范沖

(中南大學(xué) 地球科學(xué)與信息物理學(xué)院，長(zhǎng)沙 410083)

0 引言

遙感圖像的語(yǔ)義分割是目前遙感領(lǐng)域的研究熱點(diǎn)之一，其在地物分類信息方面的準(zhǔn)確可靠性能合理規(guī)劃土地利用布局，輔助政府決策。遙感影像分類是采用某種特定的算法提取和分析影像中的特征，進(jìn)而實(shí)現(xiàn)圖像在像素級(jí)別的地類識(shí)別。隨著衛(wèi)星遙感技術(shù)的快速發(fā)展，遙感影像逐漸呈現(xiàn)高空間、時(shí)間、光譜分辨率的特點(diǎn)，處理和解譯遙感影像的方法隨之快速發(fā)展?；谟?jì)算機(jī)模式識(shí)別的傳統(tǒng)遙感圖像分類算法已較為成熟且得到了廣泛的應(yīng)用，例如，監(jiān)督分類算法中最大似然法[1]、支持向量機(jī)[2](support vector machines，SVM)、決策樹(shù)[3]等，非監(jiān)督分類算法中的K-means均值算法[4]、迭代自組織的數(shù)據(jù)分析法[5](iterative selforganizing data analysis techniques algorithm，ISODATA)等。但這些淺層學(xué)習(xí)算法的計(jì)算單元較少，學(xué)習(xí)和表達(dá)特征的能力不強(qiáng)，導(dǎo)致最終分類結(jié)果的可靠性較低。

目前，深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了突破性的進(jìn)展，尤其是在圖像語(yǔ)義分割領(lǐng)域較傳統(tǒng)算法更具優(yōu)勢(shì)。2012年，著名卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet[6]以遠(yuǎn)優(yōu)于支持向量機(jī)的性能，奪得了ImageNet圖像識(shí)別比賽的冠軍。之后，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類領(lǐng)域迅速崛起，VggNet、ResNet[7]、Xception[8]、MobileNet、shuffleNet[9]等一系列分類性能更佳的卷積神經(jīng)網(wǎng)絡(luò)模型相繼問(wèn)世。2014年，Long 等[10]提出了全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)，去除了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)分類網(wǎng)絡(luò)的全連接層，揭開(kāi)了全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行像素級(jí)圖像分類的序幕。同年，Chen 等[11]提出了 DeepLab V1，結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)，采用空洞卷積的方式擴(kuò)大卷積核的感受野，大大提高了圖像的分割性能，并通過(guò)條件隨機(jī)場(chǎng)(conditional random field，CRF)優(yōu)化分割結(jié)果。Ronneberger等[12]提出了具有完整的編碼器和解碼器結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)U-Net，并將其應(yīng)用于生物醫(yī)學(xué)圖像分割，取得了較理想的結(jié)果。2017年，Chen 等[13]在DeepLab V1的基礎(chǔ)上提出了 Deeplab V2，在末端增加并行的空洞空間金字塔池化(atrous spatial pyramid pooling，ASPP)模塊，融合具有不同感受野的特征層，有效提高了圖像分割的精度和效率。同年，Chen 等[14]提出了 DeepLab v3，采用多尺度的帶孔卷積，通過(guò)級(jí)聯(lián)或并行的方式來(lái)捕獲圖像的多尺度特征來(lái)優(yōu)化分割結(jié)果，去除了最終的條件隨機(jī)場(chǎng)。2018年，Chen等[15]提出了基于空洞空間金字塔模型的全卷積神經(jīng)網(wǎng)絡(luò)DeepLab v3+，它是目前最優(yōu)的語(yǔ)義分割網(wǎng)絡(luò)。

近些年，深度學(xué)習(xí)開(kāi)始逐步應(yīng)用于遙感影像分類。Chen等[16]采用機(jī)器學(xué)習(xí)算法SVM進(jìn)行遙感影像分類，得到了比傳統(tǒng)方法更優(yōu)的分類結(jié)果。Fan等[17]進(jìn)行了基于CNN的高分遙感分類研究，再次證明了CNN在遙感影像分類上的優(yōu)越性。Liu等[18]將四種不同尺度的遙感影像應(yīng)用于FCN，在增強(qiáng)網(wǎng)絡(luò)的感受野基礎(chǔ)上大大提高了影像的分割結(jié)果。李越帥等[19]采用U-Net模型對(duì)塔里木河中游部分的胡楊進(jìn)行了識(shí)別和計(jì)數(shù)，克服了傳統(tǒng)方法識(shí)別精度低和工作量繁重的弊端。李宏達(dá)等[20]對(duì)不同空間分辨率的遙感影像在CNN上的土地覆被分類作了研究，證明了遙感影像空間分辨率的提升，在一定范圍內(nèi)能提高土地覆被分類的精度，當(dāng)影像空間分辨率進(jìn)一步提升，會(huì)增加類內(nèi)差異性，降低土地覆被分類的精度。

翟天林等[21]以武漢市為研究區(qū)域，利用光譜銳化變換方法(gram schmidt，GS)融合研究區(qū)的Sentinel-1A和Landsat-8 OLI影像，并通過(guò)BP神經(jīng)網(wǎng)絡(luò)(back propagation neural network，BPNN)、SVM法、CART決策樹(shù)等分類法得到了比融合前更高的分類精度。郭交等[22]采用SVM法和最大似然法(maximum likelihood，ML)融合了Sentinel-1 雷達(dá)影像和Sentinel-2光學(xué)影像，然后基于融合后的影像進(jìn)行農(nóng)作物分類，其結(jié)果遠(yuǎn)優(yōu)于單一影像。陳磊士等[23]以昆明市為研究區(qū)域，采用GS變換法融合Landsat-8與Sentinel-1A影像，采用CNN對(duì)融合前后的遙感影像進(jìn)行地物分類，結(jié)果表明融合后的影像能得到更優(yōu)的分類結(jié)果。因此，目前針對(duì)兩種不同空間和光譜分辨率的影像進(jìn)行地物分類時(shí)，通常先采用傳統(tǒng)的圖像融合法對(duì)其進(jìn)行融合，最后基于融合的影像采用CNN等圖像分類法進(jìn)行地物分類，這并不是一種端到端的方法，即需要人工干預(yù)，而且地物分類精度受到融合后影像質(zhì)量的影響，顯然這種方式的效率和精度較低。

目前的語(yǔ)義分割網(wǎng)絡(luò)只能支持一種分辨率的遙感影像作為輸入，在處理兩種不同空間和光譜分辨率的遙感影像時(shí)，只能采用傳統(tǒng)的遙感影像融合算法，融合兩種影像后輸入到語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行地表覆蓋類型分類，導(dǎo)致精度和效率低。因此，提出一種能融合兩種不同空間和光譜分辨率遙感影像的語(yǔ)義分割網(wǎng)絡(luò)，實(shí)現(xiàn)端到端的遙感影像融合與地表覆蓋類型分類，更好地滿足實(shí)際應(yīng)用的需求。

1 方法原理與步驟

提出的語(yǔ)義分割網(wǎng)絡(luò)模型如圖1所示，網(wǎng)絡(luò)由光譜特征編碼器、空間特征編碼器、骨干網(wǎng)絡(luò)Xception和解碼器四個(gè)部分組成。圖1中，全色影像的高度、寬度和特征維度分別為4H、4W和1，多光譜影像的高度、寬度和特征維度分別為H、W和4，在輸入端分別輸入高分二號(hào)衛(wèi)星的全色影像和多光譜影像，Conv表示對(duì)特征圖進(jìn)行卷積(convolution)，并采用激活函數(shù)(rectified linear unit，ReLU)和批歸一化(batch normalization，BN)處理特征圖，Conc表示疊加(concatenate)多個(gè)特征圖，Block表示卷積神經(jīng)網(wǎng)絡(luò)Xception的一個(gè)模塊，每個(gè)模塊輸出特征圖的大小是輸入特征圖的一半。

圖1 融合兩種不同空間和光譜分辨率影像的語(yǔ)義分割網(wǎng)絡(luò)

圖1中FFM是特征融合模塊(feature fusion module)。如圖2所示，Up表示采用雙線性插值[24]法上采樣；Mul表示兩個(gè)卷積核相乘(multiply)；Add表示兩個(gè)卷積核相加。首先，將小尺寸的特征圖線性采用雙線性插值法，上采樣至大尺寸特征圖的尺寸。然后，疊加他們，并用大小為1×1的卷積核、批量歸一化BN和激活函數(shù)Relu處理疊加的特征。同時(shí)，小尺寸卷積核依次進(jìn)行全局平均池化、1×1的卷積、批歸一化BN和激活函數(shù)Sigmoid，在擴(kuò)大感受野的同時(shí)進(jìn)行特征的升維。大尺寸卷積核依次進(jìn)行1×1的卷積、批量歸一化BN和激活函數(shù)Sigmoid，對(duì)特征進(jìn)行升維。最后，將這兩個(gè)結(jié)果依次與之前疊加融合的特征相乘，并將相乘的結(jié)果與之前疊加的特征相加。

圖2 特征融合模塊

1.1 光譜特征編碼器

光譜特征編碼器用來(lái)融合全色影像和多光譜影像的光譜信息。高分二號(hào)衛(wèi)星的全色影像與多光譜影像的空間和光譜分辨率都不相同，需要把它們編碼為相同的空間尺寸和特征維度。在光譜特征編碼器中，全色影像用3×3的卷積核進(jìn)行兩次卷積，每次卷積的滑動(dòng)步長(zhǎng)為2，每進(jìn)行一次卷積，特征圖大小降低一半。多光譜影像進(jìn)行一次卷積，滑動(dòng)步長(zhǎng)為1，卷積核的大小為1×1，卷積后卷積核的大小不變。這樣就能得到兩種尺寸相同的特征圖，最后，疊加這兩種特征圖。

1.2 空間特征編碼器和骨干網(wǎng)絡(luò)模型

空間特征編碼器能提供空間細(xì)節(jié)信息更豐富的特征圖。已有研究表明，卷積神經(jīng)網(wǎng)絡(luò)模型越深，就會(huì)丟失越多的空間細(xì)節(jié)信息，從而導(dǎo)致圖像分割結(jié)果的精度越低，因此，目前的語(yǔ)義分割網(wǎng)絡(luò)會(huì)在模型中保留不同尺寸的卷積核，用來(lái)恢復(fù)最終輸出特征圖的空間信息，提高圖像分割結(jié)果的精度。卷積神經(jīng)網(wǎng)絡(luò)越淺，特征圖的空間信息越豐富，為了盡可能地保留影像的空間信息，空間特征編碼器僅由四個(gè)卷積層組成，每個(gè)卷積層的滑動(dòng)步長(zhǎng)為2，卷積核的大小為3×3，每經(jīng)過(guò)一個(gè)卷積層，特征圖的大小降低一半。

骨干網(wǎng)絡(luò)能提供感受野更大的特征圖。在語(yǔ)義分割領(lǐng)域，除了特征圖的空間細(xì)節(jié)信息，特征圖的感受野同樣影響著圖像分割的精度，最終輸出特征圖的感受野越大，越有利于圖像分割。選用卷積神經(jīng)網(wǎng)絡(luò)模型Xception作為骨干網(wǎng)絡(luò)，在快速下采樣的過(guò)程中不斷擴(kuò)大特征圖的感受野。在空間尺寸相同的情況下，為了增加空間特征編碼器輸出特征圖的信息維度，將骨干網(wǎng)絡(luò)中的輸出B1、B2、B3和B4分別與空間特征編碼器中的輸出V1、V2、V3、V4進(jìn)行疊加，輸出C2、C3、C4、C5。

1.3 解碼器

解碼器用來(lái)恢復(fù)骨干網(wǎng)絡(luò)輸出特征圖壓縮的空間細(xì)節(jié)信息。圖1中，骨干網(wǎng)絡(luò)最終輸出的特征圖B5及特征融合模塊的輸出F1、F2、F3、F4，與C2、C3、C4、C5相比，屬于感受野大和尺寸小的卷積核，屬于較高層次的語(yǔ)義信息，C2、C3、C4、C5則屬于感受野小和尺寸大的卷積核，屬于較低層次的語(yǔ)義信息，因此不能直接對(duì)它們進(jìn)行疊加。利用卷積神經(jīng)網(wǎng)絡(luò)反向傳播進(jìn)行自動(dòng)調(diào)節(jié)的特性，提出一種特征融合模塊FFM融合這兩種特征圖。解碼器由四個(gè)特征融合模塊組成，每個(gè)模塊融合不同層次的特征，每經(jīng)過(guò)一層特征融合模塊，特征圖的尺寸擴(kuò)大兩倍。最后，融合多尺度的語(yǔ)義信息，提高模型識(shí)別不同尺度目標(biāo)的能力，將每個(gè)特征融合模塊的輸出線性上采樣至C1，與光譜特征編碼器的輸出C1疊加，與真實(shí)標(biāo)注比較計(jì)算交叉熵?fù)p失[25]。

2 實(shí)驗(yàn)與分析

2.1 研究區(qū)

實(shí)驗(yàn)數(shù)據(jù)源于2015年免費(fèi)的廣東省廣州市周邊的高分二號(hào)衛(wèi)星影像，如圖3和圖4所示，高分二號(hào)衛(wèi)星影像包含全色影像和多光譜影像，全色影像的空間分辨率為0.8 m，多光譜影像的空間分辨率為3.2 m，并含有紅、綠、藍(lán)和近紅外四個(gè)波段。訓(xùn)練區(qū)和驗(yàn)證區(qū)全色影像的大小分別為8 000像素×2 000像素和3 096像素×2 000像素，訓(xùn)練區(qū)和驗(yàn)證區(qū)多光譜影像的大小分別為2 000像素×500像素和774像素×500像素，訓(xùn)練區(qū)的影像用來(lái)制作訓(xùn)練集，驗(yàn)證區(qū)的影像用來(lái)制作驗(yàn)證集。采用人工標(biāo)注的方式，將所有影像劃分為城市建設(shè)用地、綠地、水體、農(nóng)用地四種地表覆蓋類型。

圖3 訓(xùn)練區(qū)和驗(yàn)證區(qū)的多光譜影像

圖4 訓(xùn)練區(qū)和驗(yàn)證區(qū)的全色影像

制作了五組實(shí)驗(yàn)數(shù)據(jù)，第一組數(shù)據(jù)采用大小為256像素×256像素的滑動(dòng)窗口裁剪標(biāo)簽和全色影像，滑動(dòng)步長(zhǎng)為84，保證相鄰樣本間有三分之二的重疊區(qū)域，同時(shí)采用大小為64像素×64像素的滑動(dòng)窗口裁剪多光譜影像，滑動(dòng)步長(zhǎng)為21。剩余四組數(shù)據(jù)分別是采用光譜銳化(gram schmidt，GS)法[26]、比值變換(brovey)法[27]、最鄰近擴(kuò)散(nearest neighbor diffusion pan sharpening，NNDiffuse)法[28]和主成分變換(principal component transform，PC)法[29]融合全色影像和多光譜影像后，用大小為256像素×256像素的滑動(dòng)窗口裁剪標(biāo)簽和融合后的影像，滑動(dòng)步長(zhǎng)為84。所有裁剪后的樣本旋轉(zhuǎn)90°、180°和270°，并進(jìn)行水平和垂直翻轉(zhuǎn)，擴(kuò)充樣本數(shù)量。最后，得到17 010個(gè)樣本作為訓(xùn)練集，得到6 600個(gè)樣本作為驗(yàn)證集，如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)

2.2 評(píng)價(jià)指標(biāo)和模型參數(shù)

為了評(píng)價(jià)語(yǔ)義分割網(wǎng)絡(luò)的性能，使用平均交并比(mean intersection over union，MIoU)和總體分類精度(overall accuracy，OA)兩個(gè)指標(biāo)評(píng)價(jià)實(shí)驗(yàn)結(jié)果，它們的計(jì)算如式(1)所示。

(1)

式中：c+1為地表覆蓋類型數(shù)；pii表示某一地表覆蓋類型被正確預(yù)測(cè)的像素?cái)?shù)量；pij表示真實(shí)類別i被預(yù)測(cè)為類別j的像素?cái)?shù)量；pji表示真實(shí)類別j被預(yù)測(cè)為類別i的像素?cái)?shù)量；N表示所有的像素?cái)?shù)量。

基于深度學(xué)習(xí)框架Tensorflow搭建語(yǔ)義分割網(wǎng)絡(luò)模型，模型的初始學(xué)習(xí)率為0.01，一個(gè)批次的迭代數(shù)量為15，迭代批次Epoch為50，使用隨機(jī)梯度下降SGD法訓(xùn)練網(wǎng)絡(luò)模型，網(wǎng)絡(luò)模型在訓(xùn)練過(guò)程中會(huì)監(jiān)測(cè)MIoU的變化情況。當(dāng)訓(xùn)練三個(gè)Epoch后MIoU不提升，模型的學(xué)習(xí)率會(huì)減少為原來(lái)的0.3倍，學(xué)習(xí)率最小值為0.000 4，所有實(shí)驗(yàn)在一個(gè)NVIDIA GeForce GTX 2080 Ti的GPU上進(jìn)行。

2.3 網(wǎng)絡(luò)模型有效性驗(yàn)證實(shí)驗(yàn)

為了驗(yàn)證本文提出的語(yǔ)義分割網(wǎng)絡(luò)中每個(gè)部分的有效性，采用表1中的第一組數(shù)據(jù)做四組實(shí)驗(yàn)進(jìn)行對(duì)比。A組實(shí)驗(yàn)僅保留模型的光譜特征編碼器和空間特征編碼器，空間特征編碼器輸出的特征圖與真實(shí)標(biāo)注比較計(jì)算交叉熵?fù)p失。B組實(shí)驗(yàn)僅保留模型的光譜特征編碼器和骨干網(wǎng)絡(luò)模型，骨干網(wǎng)絡(luò)模型輸出的特征圖與真實(shí)標(biāo)注比較計(jì)算交叉熵?fù)p失。C組實(shí)驗(yàn)僅保留模型的光譜特征編碼器、空間特征編碼器和骨干網(wǎng)絡(luò)模型，將空間特征編碼器和骨干網(wǎng)絡(luò)模型輸出的特征圖直接疊加，與真實(shí)標(biāo)注比較計(jì)算交叉熵?fù)p失。D組實(shí)驗(yàn)采用整個(gè)網(wǎng)絡(luò)模型。測(cè)試四組實(shí)驗(yàn)的語(yǔ)義分割模型在驗(yàn)證集上的表現(xiàn)，如圖5所示。

圖5 模型的每個(gè)部分在驗(yàn)證集上的MIoU曲線和OA曲線

圖5中A組和B組的實(shí)驗(yàn)數(shù)據(jù)，證明了同時(shí)輸入多光譜影像和全色影像，能取得較好的影像分割結(jié)果。通過(guò)對(duì)比C組與A組和B組的實(shí)驗(yàn)數(shù)據(jù)，可以發(fā)現(xiàn)直接疊加空間特征編碼器和骨干網(wǎng)絡(luò)模型的輸出，OA和MIoU有所提高，但收效甚微。通過(guò)對(duì)比C組和D組實(shí)驗(yàn)數(shù)據(jù)，可以發(fā)現(xiàn)采用解碼器后就能有效恢復(fù)骨干網(wǎng)絡(luò)輸出特征圖壓縮的空間信息，大大提高影像分割的精度。

2.4 本文與傳統(tǒng)方法對(duì)比實(shí)驗(yàn)

表2展示了本文提出的語(yǔ)義分割網(wǎng)絡(luò)Deeplab v3+的參數(shù)量(params)和浮點(diǎn)運(yùn)算次數(shù)(FLOPs)，params值越大表示模型訓(xùn)練速度越慢、FLOPs值越大、模型計(jì)算復(fù)雜度就越大。通過(guò)對(duì)比表2的數(shù)據(jù)可以發(fā)現(xiàn)，與Deeplab v3+相比，本文提出的語(yǔ)義分割網(wǎng)絡(luò)大大減少了模型的參數(shù)量和浮點(diǎn)運(yùn)算次數(shù)，效率更高。

表2 本文提出的語(yǔ)義分割網(wǎng)絡(luò)和Deeplab v3+對(duì)比

為了驗(yàn)證本文提出的語(yǔ)義分割網(wǎng)絡(luò)的圖像分割效果，與傳統(tǒng)方法進(jìn)行了對(duì)比。將表1中第一組數(shù)據(jù)輸入到本文提出的語(yǔ)義分割網(wǎng)絡(luò)中，將表1中第二組、第三組、第四組和第五組數(shù)據(jù)，輸入到目前最優(yōu)的語(yǔ)義分割網(wǎng)絡(luò)Deeplab v3+中訓(xùn)練，對(duì)比它在驗(yàn)證集上的測(cè)試效果，如圖6所示。本文提出的語(yǔ)義分割網(wǎng)絡(luò)和Deeplab v3+的骨干網(wǎng)絡(luò)不同，為了公正對(duì)比實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)中的骨干網(wǎng)絡(luò)均未進(jìn)行預(yù)訓(xùn)練。

如圖6所示，與采用NNDiffuse法、GS法、PC法和brovey法融合研究區(qū)的全色影像和多光譜影像后，輸入到目前最優(yōu)的語(yǔ)義分割網(wǎng)絡(luò)Deeplab v3+相比，將研究區(qū)的全色影像和多光譜影像輸入到本文提出的語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，在驗(yàn)證集上的MIoU和OA值更高。

圖6 本文和傳統(tǒng)方法在驗(yàn)證集上的MIoU曲線和OA曲線

在一幅256像素×256像素大小的多光譜影像和1 024像素×1 024像素大小的全色影像上，采用圖6中每組最優(yōu)的網(wǎng)絡(luò)模型參數(shù)，對(duì)每類地物進(jìn)行評(píng)估，通過(guò)混淆矩陣計(jì)算每類地物的精度及OA和MIoU，實(shí)驗(yàn)結(jié)果如圖7和表3所示。

圖7 本文提出的語(yǔ)義分割網(wǎng)絡(luò)與傳統(tǒng)方法的分類結(jié)果對(duì)比

表3 本文提出的語(yǔ)義分割網(wǎng)絡(luò)與傳統(tǒng)方法的分類精度對(duì)比

通過(guò)對(duì)比表3和圖7可以發(fā)現(xiàn)，與傳統(tǒng)方法相比，本文提出的語(yǔ)義分割網(wǎng)絡(luò)的OA和MIoU更高。所有方法分類建筑用地的精度都較高，但傳統(tǒng)方法在分類信息相似的綠地和農(nóng)用地時(shí)，易出現(xiàn)大面積的錯(cuò)分，易將綠地錯(cuò)分類為農(nóng)用地，傳統(tǒng)方法分類水體時(shí)，易將水體錯(cuò)分為建筑用地。本文提出的語(yǔ)義分割網(wǎng)絡(luò)更加關(guān)注多光譜影像和全色影像空間和光譜特征的融合與提取，解碼器融合了空間特征編碼器和骨干網(wǎng)絡(luò)不同尺度的特征圖進(jìn)行上采樣，減少了特征融合時(shí)存在的信息差異，從而使得模型更好地結(jié)合全色影像和多光譜影像，提高影像分割的精度。實(shí)驗(yàn)結(jié)果證明了本文提出的語(yǔ)義分割網(wǎng)絡(luò)，可以實(shí)現(xiàn)端到端的兩種不同空間和光譜分辨率遙感影像融合與地表覆蓋類型分類，與傳統(tǒng)方法先融合多光譜影像和全色影像后，再輸入語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行分類進(jìn)行比較，效率和精度更高。

2.5 不同影像融合法對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文提出的語(yǔ)義分割網(wǎng)絡(luò)應(yīng)用于不同影像融合方法的有效性，將表1中第二組、第三組、第四組和第五組數(shù)據(jù)輸入到本文提出的語(yǔ)義分割網(wǎng)絡(luò)中訓(xùn)練，并保留在驗(yàn)證集上精度最高的網(wǎng)絡(luò)模型參數(shù)。在一幅大小為1 024像素×1 024像素的全色影像和256像素×256像素的多光譜影像上，采用NNDiffuse法、GS法、PC法和brovey法融合這兩種影像，用保留的網(wǎng)絡(luò)模型對(duì)其進(jìn)行評(píng)估。由于多光譜影像和全色影像融合后得到的是單幅影像，因此在訓(xùn)練和測(cè)試階段無(wú)需輸入到圖1中的光譜特征編碼器中融合光譜信息，僅保留圖1中的空間特征編碼器、骨干網(wǎng)絡(luò)模型以及解碼器進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果如圖8和表4所示。

圖8 本文提出的語(yǔ)義分割網(wǎng)絡(luò)應(yīng)用于不同影像融合法的分類結(jié)果對(duì)比

通過(guò)對(duì)比表4的數(shù)據(jù)可知，本文提出的語(yǔ)義分割網(wǎng)絡(luò)應(yīng)用于NNDiffuse法融合影像的效果最好，除了建筑用地的分割精度略低于GS法、PC法和brovey法，其他地物的分割精度都遠(yuǎn)優(yōu)于其余算法。在GS法的實(shí)驗(yàn)結(jié)果中，水體和農(nóng)用地易錯(cuò)被分類為綠地，綠地易被錯(cuò)分類為建筑用地。在PC法的實(shí)驗(yàn)結(jié)果中，水體和綠地易被錯(cuò)分類為建筑用地，大多農(nóng)用地被錯(cuò)分類為綠地。在brovey法的實(shí)驗(yàn)結(jié)果中，農(nóng)用地和水體易被錯(cuò)分為綠地和建筑用地，綠地易被錯(cuò)分類為建筑用地。實(shí)驗(yàn)結(jié)果表明，本文提出的語(yǔ)義分割網(wǎng)絡(luò)可應(yīng)用于不用影像融合法合成的影像，OA和MIoU都較高。

表4 本文提出的語(yǔ)義分割網(wǎng)絡(luò)應(yīng)用于不同影像融合法的分類精度對(duì)比 %

3 結(jié)束語(yǔ)

本文針對(duì)兩種不同空間和光譜分辨率的遙感圖像進(jìn)行語(yǔ)義分割，提出一種能融合兩種不同空間和光譜分辨率遙感影像的語(yǔ)義分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)由兩個(gè)編碼器、一個(gè)骨干網(wǎng)絡(luò)和一個(gè)解碼器構(gòu)成，能同時(shí)輸入同一地區(qū)不同空間和光譜分辨率的遙感影像，富集更加豐富完整的影像信息，無(wú)需預(yù)先融合不同空間和光譜分辨率的遙感影像就能直接進(jìn)行地表覆蓋類型分類，進(jìn)而提高遙感圖像分割的精度和效率。通過(guò)圖1、表2和表3可知，本文提出的語(yǔ)義分割網(wǎng)絡(luò)參數(shù)少，模型結(jié)構(gòu)簡(jiǎn)單，分割精度高。但本文提出的語(yǔ)義分割網(wǎng)絡(luò)僅僅針對(duì)兩種不同空間分辨率的高分二號(hào)多光譜影像和全色影像，對(duì)其他平臺(tái)的遙感影像融合并未探究，尤其針對(duì)多種不同空間、光譜和時(shí)間分辨率的影像融合，會(huì)產(chǎn)生影像間光譜信息差異巨大、多尺寸及地物顯示不同等問(wèn)題，有待探究。本文證明了語(yǔ)義分割網(wǎng)絡(luò)融合多源光學(xué)影像的有效性和可行性，同時(shí)也證明了本文提出的語(yǔ)義分割網(wǎng)絡(luò)應(yīng)用于不同影像融合方法的有效性，為遙感圖像分類提供了一種全新的方法和思路。