薛朝輝，李博

1.河海大學(xué)地球科學(xué)與工程學(xué)院,南京 211100;

2.河海大學(xué)江蘇省水資源環(huán)境遙感監(jiān)測(cè)評(píng)估工程研究中心,南京 211100

1 引言

高光譜圖像HSI（Hyperspectral Image）由數(shù)百個(gè)連續(xù)的波段組成，高光譜分辨率可達(dá)納米級(jí)，包含豐富的光譜信息（童慶禧等，2016）。此外，HSI還具有圖譜合一的特性（Fauvel等，2013），可以同時(shí)利用豐富的光譜特征和空間特征，實(shí)現(xiàn)對(duì)地物的精細(xì)分類（黃鴻和曲煥鵬，2014）。目前HSI已廣泛應(yīng)用于植被分析（Lowe等，2017）、礦產(chǎn)資源開發(fā)（van der Meer等，2012）以及精準(zhǔn)農(nóng)業(yè)（Lu等，2020）等領(lǐng)域。

HSI存在數(shù)據(jù)量大、波段相關(guān)性強(qiáng)、光譜特征冗余以及標(biāo)記樣本缺乏等問題，使得HSI在分類與目標(biāo)識(shí)別應(yīng)用中面臨諸多挑戰(zhàn)（杜培軍等，2016）。傳統(tǒng)的高光譜圖像分類方法主要包括：支持向量機(jī)SVM（Support vector machines）（Melganit和Bruzzone，2004）、多項(xiàng)式邏輯回歸（Li等，2010）、隨機(jī)森林（Belgiu和Dr?gu?，2016）、稀疏表示（Chen等，2011）、協(xié)同表示（Li等，2015）、低秩表示（Liu等，2013）以及多核學(xué)習(xí)（Camps-Valls等，2006）等。但是這些方法都依賴于人工設(shè)計(jì)的特征，需要設(shè)計(jì)嚴(yán)密的模型，進(jìn)行復(fù)雜的數(shù)學(xué)推導(dǎo)，不能夠依據(jù)數(shù)據(jù)進(jìn)行自主特征學(xué)習(xí)，模型的魯棒性和適用性有待提高。

近年來，深度學(xué)習(xí)方法極大地促進(jìn)了HSI分類的發(fā)展。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中具有深層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)算法，其動(dòng)機(jī)在于建立模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它通過分層方式組合低層特征，自主學(xué)習(xí)圖像的深層特征（Hinton和Salakhutdinov，2006）。經(jīng)典的深度學(xué)習(xí)方法包括卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Networks）（Hu等，2015）、堆棧自編碼器SAE（Stacked Autoencoders）（Chen等，2014）以及循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（Recurrent Neural Network）（Mou等，2017）等。

CNN基于其獨(dú)特的卷積操作，對(duì)空間特征有著更強(qiáng)的提取能力，在HSI分類中的應(yīng)用十分廣泛，發(fā)展了1D-CNN、2D-CNN（Zhao和Du，2016）、3D-CNN（Chen等，2016）、2D-3D CNN（Yu等，2020）、全卷積（Xu等，2020）以及與其他特征算子相結(jié)合（魏祥坡等，2020）等方法。不同形式的卷積神經(jīng)網(wǎng)絡(luò)各有特點(diǎn)：1D-CNN將圖像壓縮為一維向量提取光譜特征，但是未利用圖像原有的空間特征；2D-CNN利用二維卷積核在圖像空間維上進(jìn)行特征提取，能夠?qū)D像的空間信息進(jìn)行建模，但忽略了對(duì)光譜特征的提取；3DCNN同時(shí)提取光譜維和空間維的特征信息，充分發(fā)揮了HSI圖譜合一的特性，可以取得更好的分類效果。

CNN通常使用固定大小和形狀的卷積核進(jìn)行特征提取，難以適應(yīng)具有不同地物分布的HSI特征（Zhang等，2016）。為保證信息提取的完整性，Zhang等（2018）設(shè)計(jì)了DR-CNN（Diverse Regionbased CNN）模型，該模型與常規(guī)的滑動(dòng)窗口方法不同，利用6個(gè)不同區(qū)域輸入進(jìn)行特征提取，具有更強(qiáng)的區(qū)分能力。但該方法需要訓(xùn)練6個(gè)模型，復(fù)雜度較高；此外，6個(gè)模型具有相同的影響力可能不是最佳的選擇，因此Feng等（2021）提出了一種基于自適應(yīng)區(qū)域搜索的多分支注意力模型，該方法根據(jù)樣本的特定分布，自適應(yīng)地在非局部候選區(qū)域搜索空間窗口的大小和位置，并通過注意力機(jī)制對(duì)各分支的影響力進(jìn)行區(qū)分，具有更強(qiáng)的特征提取能力。

為緩解CNN隨層數(shù)增加精度降低的過擬合問題，融合不同層級(jí)特征，Zhong等（2017）基于殘差連接提出了3D-ResNet（Residual Network）模型，取得了比常規(guī)3D CNN更好的分類效果；此外，該作者還提出了SSRN（Spectral-Spatial Residual Network）模型（Zhong等，2018），使用1×1卷積、2D CNN代替3D CNN，在降低參數(shù)量的同時(shí)，融合了淺層特征與深層特征。但該模型的空間特征提取基于光譜特征，可能會(huì)造成特征信息丟失，為此，Li等（2020）提出了MFDN（Deep Multilayer Fusion Dense Network）模型，該模型基于不同的樣本輸入大小同時(shí)提取空間特征和光譜特征，并采用多層融合策略進(jìn)行特征融合，相較于SSRN取得了更好的分類效果。

在圖像分類任務(wù)中，感受野是一個(gè)關(guān)鍵問題，模型通常需要多尺度感受野，以獲得不同尺度特征。為獲取全局特征，需要較大的感受野以確保重要信息不被遺漏（Chen等，2021）。一方面，通過增大卷積核尺寸可以直觀地增大感受野；另一方面，堆疊使用更多的卷積層，使網(wǎng)絡(luò)結(jié)構(gòu)更深，理論上會(huì)線性增加模型的感受野。針對(duì)感受野問題，先后發(fā)展了空洞卷積（Dilated convolution）（Wang等，2018）以及可形變卷積（Deformable convolutional）（Dai等，2017）等方法。如圖1所示，在相同卷積核大小的情況下，空洞卷積和可形變卷積能夠以更大的感受野進(jìn)行特征提取，其中，空洞卷積的形狀仍是規(guī)則網(wǎng)格，各采樣點(diǎn)的間距一致，由空洞卷積的擴(kuò)張率參數(shù)決定；而可形變卷積通過卷積層學(xué)習(xí)在空間維上的偏移量進(jìn)行偏移采樣，根據(jù)不同的特征圖自適應(yīng)擴(kuò)大感受野。

圖1 不同卷積方法采樣位置示意圖Fig.1 Sampling position diagram of different convolution methods

空洞卷積通過擴(kuò)大采樣間隔的方式，在保持參數(shù)量不變的情況下，可以獲取到更全局、更高級(jí)的語義特征；但當(dāng)疊加的卷積層使用同一采樣間隔時(shí)，會(huì)產(chǎn)生網(wǎng)格效應(yīng)，導(dǎo)致一部分信息丟失，降低模型的特征提取能力（Pooja等，2019）。針對(duì)該問題，Pooja等（2019）提出了一種多尺度空洞卷積模型MDR-CNN（Multi-scale Dilated Residual CNN）用于高光譜圖像分類，該模型通過多尺度方法以及殘差連接解決了空洞卷積信息丟失的問題；此外，Li等（2021）提出了一種局部和混合空洞卷積融合模型，采用局部空洞卷積和混合空間卷積的融合運(yùn)算，充分利用了空間光譜信息；為充分利用多尺度感受野特征，Zhao等（2021）提出了一種稠密連接的金字塔空洞卷積模型，該模型融合了不同數(shù)量的空洞卷積層，能夠充分顧及多尺度感受野。然而，空洞卷積的采樣間隔是固定的，對(duì)不同的特征圖不能自適應(yīng)變化。

可形變卷積通過卷積層為每個(gè)采樣點(diǎn)學(xué)習(xí)偏移量，利用偏移后的采樣點(diǎn)，實(shí)現(xiàn)自適應(yīng)感受野采樣。相較于空洞卷積固定采樣間隔的方法，可形變卷積的偏移量是可學(xué)習(xí)的。Zhu等（2018）首次將可形變卷積應(yīng)用到HSI分類領(lǐng)域中，提出了

DCNN（Deformable Convolutional Neural Networks）和DHCNet（Deformable HSI classification networks）模型，該方法利用可形變采樣點(diǎn)將每個(gè)像素的相鄰結(jié)構(gòu)信息壓縮到固定網(wǎng)格中，進(jìn)一步在可形變特征圖上應(yīng)用規(guī)則卷積可以有效地反映復(fù)雜結(jié)構(gòu)，從而提升特征表達(dá)能力。然而，上述兩個(gè)模型只是利用二維可形變卷積對(duì)空間特征進(jìn)行提取，忽略了光譜特征；此外，該模型需要設(shè)置較大的窗口以獲取更多的空間信息，但是窗口設(shè)置過大會(huì)引入干擾像元，導(dǎo)致邊界模糊、細(xì)節(jié)丟失。

因此，如何增強(qiáng)模型的特征提取能力和視覺感受野是本文關(guān)注的主要科學(xué)問題：（1）如何利用CNN充分提取HSI的空間—光譜特征；（2）如何在只增加少量參數(shù)的情況下，使模型學(xué)習(xí)自適應(yīng)感受野；（3）如何突破空間可形變卷積存在的窗口尺寸過大以及偏移范圍受限等問題。

本文將可形變卷積與1×1卷積相結(jié)合，提出了一種結(jié)合光譜可形變卷積的高光譜圖像分類方法，主要?jiǎng)?chuàng)新點(diǎn)在于：首先，設(shè)計(jì)了一種新的空間-光譜特征提取模型，在只使用少量卷積層的情況下，獲得了較高的分類精度；其次，將可形變卷積應(yīng)用到了光譜特征提取中，提出了光譜可形變卷積模塊，通過偏移采樣實(shí)現(xiàn)自適應(yīng)感受野，使得光譜特征集中于有效波段；最后，將提出的模型與光譜可形變卷積模塊相結(jié)合，設(shè)計(jì)了光譜可形變卷積網(wǎng)絡(luò)SDCNN（Spectral Deformable Convolutional Neural Network）。

2 研究方法

2.1 空間可形變卷積

空間可形變卷積將二維偏移量添加到傳統(tǒng)卷積的采樣位置，可以使采樣?xùn)鸥褡杂勺冃危―ai等，2017）。該方法通過卷積層模擬偏移量學(xué)習(xí)函數(shù)，針對(duì)不同的特征圖可以自適應(yīng)調(diào)整。圖2展示了3×3可形變卷積的實(shí)現(xiàn)過程，首先，通過卷積層為每個(gè)采樣點(diǎn)學(xué)習(xí)在水平和垂直兩個(gè)方向上的偏移量；其次，由于學(xué)習(xí)到的偏移量通常不是整數(shù)，使用雙線性插值方法獲取偏移后采樣點(diǎn)的特征值，生成偏移后的特征圖，偏移后的特征圖形狀大小與原特征圖一致；最后，對(duì)偏移后的特征圖進(jìn)行規(guī)則卷積即可實(shí)現(xiàn)可形變卷積。

圖2 可形變卷積（3×3）（Dai等，2017）Fig.2 Deformable convolution（3×3）（Dai et al.，2017）

空間可形變卷積通過在空間維上的偏移采樣，實(shí)現(xiàn)了自適應(yīng)感受野，增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的幾何建模能力（Zhu等，2018）。在HSI分類領(lǐng)域中，通常將原始圖像切塊輸入模型進(jìn)行訓(xùn)練，導(dǎo)致空間可形變卷積的偏移范圍受限，需要設(shè)置較大的窗口才能獲得全局特征。Zhu等（2018）所提出的DCNN和DHCNet模型將窗口尺寸設(shè)置為25×25，當(dāng)窗口尺寸過大時(shí)，會(huì)增加模型的計(jì)算量，需要更多的運(yùn)行內(nèi)存進(jìn)行訓(xùn)練；此外，窗口尺寸過大還會(huì)引入混合像元，導(dǎo)致類別邊界模糊。不同于空間可形變卷積，光譜可形變卷積可在HSI的光譜維上實(shí)現(xiàn)更有效的偏移，從而更有利于特征學(xué)習(xí)。

2.2 光譜可形變卷積

針對(duì)空間可形變卷積在HSI分類應(yīng)用中存在的問題，本文將可形變卷積擴(kuò)展到了光譜維中，提出了光譜可形變卷積。不同地物類別在不同波段中的分類效果不同（Mou和Zhu，2020），通過在光譜維上的偏移可以為每個(gè)地物選擇合適的分類波段，使光譜特征的提取集中于有效波段，提升相應(yīng)波段特征值的權(quán)重，進(jìn)而提取出更具鑒別性的特征；且只需要學(xué)習(xí)光譜維方向上的偏移量，計(jì)算復(fù)雜度只有空間可形變卷積的一半。

光譜可形變卷積的實(shí)現(xiàn)過程如圖3所示。首先，通過一個(gè)額外的全連接層模擬偏移量學(xué)習(xí)函數(shù)，為每個(gè)采樣點(diǎn)學(xué)習(xí)在光譜維上的偏移量，該偏移量根據(jù)不同的特征圖自適應(yīng)調(diào)整，進(jìn)而實(shí)現(xiàn)自適應(yīng)感受野的目的；其次，由于學(xué)習(xí)到的偏移量offset通常不是整數(shù)，所以要對(duì)偏移后的坐標(biāo)進(jìn)行向上、向下取整，利用取整后坐標(biāo)的特征值，通過線性插值獲取偏移后的特征值，生成偏移后的特征圖；最后，對(duì)偏移后的特征圖進(jìn)行1×1卷積實(shí)現(xiàn)光譜可形變卷積。

圖3 光譜可形變卷積模塊Fig.3 Spectral deformable convolution module

三維卷積主要包括兩個(gè)步驟：（1）在輸入特征圖X上利用規(guī)則立方體R進(jìn)行采樣；（2）對(duì)采樣值進(jìn)行加權(quán)求和。其中規(guī)則立方體R定義了三維卷積的感受野和采樣間隔大小，例如：R=｛（-1，-1，-1），（-1，-1，0），…，（1，1，1）｝定義了采樣間隔為0的3×3×3卷積，則輸出特征圖y每個(gè)位置的特征值為：

在三維卷積的基礎(chǔ)上，光譜可形變卷積增加了在光譜維上的偏移量，即：

式中，w(pn)為每個(gè)采樣點(diǎn)對(duì)應(yīng)的權(quán)重，Δpn為（0，0，offset）的形式，從而確保采樣點(diǎn)只在光譜維上進(jìn)行偏移。

2.3 SDCNN

進(jìn)一步地，將可形變卷積模塊與設(shè)計(jì)的空間-光譜特征提取模型相結(jié)合，提出了基于光譜可形變卷積網(wǎng)絡(luò)的高光譜圖像分類方法，如圖4所示。首先，將原始圖像切分為9×9的塊，利用光譜可形變卷積模塊對(duì)輸入圖像進(jìn)行處理，使用一個(gè)額外的全連接層為1×1卷積學(xué)習(xí)一個(gè)在光譜維上的偏移量，通過在光譜維上的偏移，自適應(yīng)擴(kuò)大1×1卷積在光譜維上的感受野，獲取更全局的光譜特征用于分類，充分發(fā)揮HSI光譜分辨率高的優(yōu)勢(shì)；其次，使用多個(gè)1×1卷積進(jìn)行光譜特征提取并降維，再使用三維卷積對(duì)光譜—空間聯(lián)合特征進(jìn)行提取；最后，將提取到的特征平均池化后輸入全連接層用于分類。該模型在只使用較少卷積層的情況下，獲得了較好的分類效果。

圖4 SDCNN模型示意圖Fig.4 Diagram of SDCNN model

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

3.1.1 Indian Pines（IP）數(shù)據(jù)

如圖5所示，該數(shù)據(jù)集是最早用于高光譜圖像分類的數(shù)據(jù)，于1992年6月利用AVIRIS傳感器在印第安納州西北部農(nóng)場(chǎng)獲得（https：//www.ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes［2021-12-07］），去除噪聲以及水汽吸收等影響波段后，剩余200個(gè)有效波段，波長范圍為0.4—2.5 μm，光譜分辨率為10 nm。該數(shù)據(jù)共有145像素×145像素，包含10249個(gè)已標(biāo)記樣本，覆蓋16個(gè)地物類別，空間分辨率為20 m。

圖5 IP數(shù)據(jù)Fig.5 IP datasets

3.1.2 University of Pavia（PU）數(shù)據(jù)

如圖6所示，該數(shù)據(jù)集是2013年由德國機(jī)載反射光學(xué)光譜成像儀ROSIS傳感器在意大利帕維亞的飛行活動(dòng)中獲得的兩個(gè)數(shù)據(jù)集之一（https：//www.ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes［2021-12-07］）。在去除噪聲和水汽吸收等因素影響的波段后，剩余103個(gè)分類的有效波段，波長范圍為0.43—0.86 μm。圖像空間尺寸為610×340，包含42776個(gè)已標(biāo)記樣本，覆蓋9個(gè)地物類別，空間分辨率為1.3 m。

圖6 PU數(shù)據(jù)Fig.6 PU data

3.1.3 University of Houston（HU）數(shù)據(jù)

如圖7所示，該數(shù)據(jù)由ITRES CASI-1500傳感器獲取，由2013 IEEE GRSS數(shù)據(jù)融合大賽提供（https：//hyperspectral.ee.uh.edu/?page_id=459）。該數(shù)據(jù)包含144個(gè)有效波段，波長范圍為0.38—1.05 μm。圖像空間尺寸為349×1905，包含15029個(gè)已標(biāo)記樣本，覆蓋16個(gè)地物類別，空間分辨率為2.5 m。

3.2 實(shí)驗(yàn)設(shè)置

3.2.1 訓(xùn)練數(shù)據(jù)和精度評(píng)定

在IP數(shù)據(jù)集上隨機(jī)選擇每個(gè)類樣本的10%作為訓(xùn)練集，剩余樣本作為測(cè)試集；在PU數(shù)據(jù)集上隨機(jī)選擇每個(gè)類樣本的5%作為訓(xùn)練集，剩余樣本作為測(cè)試集；在HU數(shù)據(jù)集上從每個(gè)類中選擇50個(gè)樣本作為訓(xùn)練集，剩余的樣本作為測(cè)試集。3個(gè)數(shù)據(jù)集的訓(xùn)練樣本與測(cè)試樣本數(shù)如表1、表2和表3所示。

表1 IP數(shù)據(jù)的訓(xùn)練和測(cè)試樣本Table 1 Training and test samples for IP datasets

表3 HU數(shù)據(jù)的訓(xùn)練和測(cè)試樣本Table 3 Training and test samples for HU dataset

類別柏油路面草地砂礫屋頂建筑樹木金屬屋頂建筑裸地瀝青屋頂建筑磚砌路面陰影總計(jì)6631 18649 2099 3064 1345 5029 1330 3682 947 42776 332 932 105 153 67 251 67 184 47 2138 6299 17717 1994 2911 1278 4778 1263 3498 900 40638樣本數(shù)訓(xùn)練樣本測(cè)試樣本

樣本泛化性實(shí)驗(yàn)中，在IP數(shù)據(jù)集上依次隨機(jī)選擇每個(gè)類的［1%，2%，…，10%］作為訓(xùn)練樣本；在PU數(shù)據(jù)集上隨機(jī)選擇每個(gè)類樣本的［0.5%，1.0%，…，5.0%］作為訓(xùn)練樣本；在HU數(shù)據(jù)集上從每個(gè)類中選擇［5，10，…，50］樣本作為訓(xùn)練樣本，剩余樣本作為測(cè)試樣本。在Houston數(shù)據(jù)集固定樣本實(shí)驗(yàn)中，選取的訓(xùn)練集與測(cè)試集如圖7（c）和7（d）所示，兩者在空間上沒有重疊，對(duì)各方法的分類性能有更大的挑戰(zhàn)。

圖7 HU數(shù)據(jù)Fig.7 HU datasets

采用總體精度OA（Overall Accuracy）、Kappa系數(shù)以及所有類的平均精度AA（Average Accuracy）對(duì)各方法的分類效果進(jìn)行評(píng)價(jià)。所有實(shí)驗(yàn)隨機(jī)選擇10次樣本，并給出平均結(jié)果和標(biāo)準(zhǔn)差。

3.2 .2對(duì)比方法

為了驗(yàn)證所提出算法的優(yōu)越性，對(duì)比了2D CNN（Paoletti等，2019）和3D CNN（Paoletti等，2019）方法；并選取了DCNNs和DHCNet兩種基于空間可形變卷積的分類方法以及多尺度空洞卷積方法MDR-CNN進(jìn)行對(duì)比；最后，Xu等（2018）對(duì)比了DR-CNN、SSRN和SSUN這3個(gè)比較先進(jìn)的深度學(xué)習(xí)分類方法。對(duì)比實(shí)驗(yàn)在這3個(gè)數(shù)據(jù)集上隨機(jī)采樣的訓(xùn)練樣本與測(cè)試樣本數(shù)如表1、表2和表3所示，在HU數(shù)據(jù)集上分離樣本實(shí)驗(yàn)的訓(xùn)練集與測(cè)試集見表3。

3.2.3 實(shí)驗(yàn)參數(shù)設(shè)置

根據(jù)參數(shù)敏感性分析實(shí)驗(yàn)，將本文方法的窗口大?。≒atch size）設(shè)置為9×9，批大?。˙atch size）設(shè)置為64。在對(duì)比實(shí)驗(yàn)與樣本泛化性實(shí)驗(yàn)中，為保證公平性，使用各模型的最佳窗口大小，其余參數(shù)按照各模型的推薦參數(shù)進(jìn)行設(shè)置，如表4所示。

表4 不同方法的參數(shù)設(shè)置Table 4 Parameter Settings for different methods

本文所有的實(shí)驗(yàn)均在Windows 10、NVIDIA GeForce RTX 2080 Ti、顯存為11 GB的環(huán)境下運(yùn)行。采用的深度學(xué)習(xí)框架和版本為TensorFlow 1.15.5、Python 3.7、Cuda10.0。

3.3 參數(shù)敏感性分析

3.3.1 窗口大小

為分析窗口大小對(duì)本文方法分類精度的影響，實(shí)驗(yàn)測(cè)試了在［3×3，5×5，7×7，9×9，11×11，13×13，15×15］窗口大小條件下的分類效果。如圖8（a）所示，隨著窗口大小的增加，模型在3個(gè)數(shù)據(jù)集上的分類精度均呈現(xiàn)先上升后下降的趨勢(shì)。當(dāng)窗口大小增加時(shí)，特征圖中包含的特征也隨之增加，所以分類精度前期呈現(xiàn)上升的趨勢(shì)；當(dāng)窗口大小增加到一定程度后，特征圖尺寸過大增加了模型的計(jì)算復(fù)雜度，影響了偏移量的學(xué)習(xí)以及偏移效果；并且引入了干擾像元，使得類與類之間的邊界模糊，導(dǎo)致分類精度降低。綜合模型在3個(gè)數(shù)據(jù)集上的分類表現(xiàn)，將窗口大小設(shè)置為9×9。

圖8 參數(shù)敏感性分析Fig.8 Parameter sensitivity analysis

3.3.2 批大小

為分析批大小對(duì)本文方法分類精度的影響，實(shí)驗(yàn)測(cè)試了在［16，32，48，64，80，96］批大小條件下的分類效果。如圖8（b）所示，在IP數(shù)據(jù)集和PU數(shù)據(jù)集上，批大小對(duì)模型分類精度的影響較小，精度變化曲線較為平緩。在HU數(shù)據(jù)集上，隨著批大小的增大，分類精度有明顯的上升趨勢(shì)?？梢钥闯觯?dāng)批大小為64時(shí)，模型在3個(gè)

數(shù)據(jù)集上均取得了最好的分類結(jié)果。因此，將模型的批大小設(shè)置為64。

3.4 消融實(shí)驗(yàn)

為驗(yàn)證光譜可形變卷積模塊的有效性，將SDCNN模型原本的光譜可形變卷積模塊分別替換為空間可形變卷積、空洞卷積以及傳統(tǒng)卷積模塊進(jìn)行對(duì)比。如表5所示，空間可形變卷積分類精度與傳統(tǒng)卷積接近，這是因?yàn)槟Ｐ偷拇翱诖笮≡O(shè)置為9×9，該方法在空間維上的偏移范圍有限，難以有效發(fā)揮作用。而空洞卷積和光譜可形變卷積相較于傳統(tǒng)卷積都取得了較好的效果，這是由于兩者都有效擴(kuò)大了模型的感受野，獲得了更全局的特征。但空洞卷積的采樣間隔是固定的，不能自適應(yīng)調(diào)整，在不同數(shù)據(jù)集上的效果不同，對(duì)樣本的泛化性不強(qiáng)；而光譜可形變卷積可以針對(duì)不同的特征圖自適應(yīng)調(diào)整感受野，可有效發(fā)掘樣本間的差異信息，在3個(gè)數(shù)據(jù)集上都取得了較好的效果，證明了光譜可形變卷積的有效性。然而，光譜可形變卷積模塊相較于其他卷積方法的提升不夠明顯，考慮是只使用一個(gè)全連接層學(xué)習(xí)到的偏移量不夠準(zhǔn)確，還需要進(jìn)一步改進(jìn)。

表5 不同卷積模塊對(duì)比實(shí)驗(yàn)Table 5 Comparison of different convolution modules

3.5 對(duì)比實(shí)驗(yàn)

為對(duì)比不同方法的分類效果，表6、表7和表8分別給出了各方法在不同數(shù)據(jù)集上的分類結(jié)果。表6列出了各方法在IP數(shù)據(jù)集上的分類精度，本文方法（SDCNN）取得了最高的分類精度，其中OA達(dá)到了98.86%±0.09%，相較于其他方法高出0.22%—10.62%，并且10次結(jié)果標(biāo)準(zhǔn)差明顯小于其他對(duì)比方法，這說明SDCNN受樣本選擇的影響更??；同時(shí)，SDCNN也取得了最高的Kappa。對(duì)于單個(gè)類別而言，SDCNN在16個(gè)類別中有6個(gè)類都取得了最高的分類精度。

表6 不同方法在IP數(shù)據(jù)集上的分類結(jié)果（10%樣本）Table 6 Classification results of different methods on IP datasets（10%samples）

表7 不同方法在PU數(shù)據(jù)集上的分類結(jié)果（5%樣本）Table 7 Classification results of different methods on the PU datasets（5%samples）

表8 不同方法在HU數(shù)據(jù)集上的分類結(jié)果（50樣本）Table 8 Classification results of different methods on the HU datasets（50 samples）

圖9為各方法對(duì)IP數(shù)據(jù)得到的分類圖，可以看到，SDCNN分類圖中的斑點(diǎn)噪聲現(xiàn)象明顯減少，類內(nèi)平滑度更高，類別邊界更清晰，分類結(jié)果更準(zhǔn)確。DCNN與DHCNet方法使用了大窗口，導(dǎo)致類別邊界模糊，細(xì)節(jié)提取能力減弱。與地面驗(yàn)證數(shù)據(jù)對(duì)比，SDCNN對(duì)Hay-windrowed和Woods等類別的分類十分準(zhǔn)確，這與表6中該類別的高分類精度相對(duì)應(yīng)。

圖9 不同方法在IP數(shù)據(jù)上的分類圖Fig.9 Classification maps obtained by different methods for the IP datasets

表7列出了各方法在PU數(shù)據(jù)集上的分類精度，SDCNN的OA為99.81%±0.06%，相較于其他方法高出0.28%—3.76%，同時(shí)也取得了最高的Kappa和AA。對(duì)于單個(gè)類別而言，SDCNN在該數(shù)據(jù)集9個(gè)類別中的6個(gè)類別上都取得了最高的分類精度。

圖10為PU數(shù)據(jù)分類圖和各模型得到的分類結(jié)果圖，SDCNN取得了更為平滑和準(zhǔn)確的效果。與地面驗(yàn)證數(shù)據(jù)對(duì)比，SDCNN分類結(jié)果圖在Meadows以及Bitumen等類別的對(duì)應(yīng)位置非常準(zhǔn)確，這與表7中特定類別的高分類精度對(duì)應(yīng)。

表8列出了各方法在HU數(shù)據(jù)集上的分類精度，SDCNN取得最高的OA、Kappa和AA，其中OA為97.41%±0.59%，相較于其他模型提升了0.88%—4.54%。對(duì)于特定的類別，SDCNN在15個(gè)類別中有10個(gè)類取得了最高的分類精度。

圖11為HU數(shù)據(jù)分類圖和各方法得到的分類結(jié)果圖，從分類結(jié)果圖來看，SDCNN的分類結(jié)果更為連續(xù)和平滑，噪聲點(diǎn)明顯少于其他方法，這也與表8中模型的分類精度相對(duì)應(yīng)。

雖然SDCNN方法在3個(gè)數(shù)據(jù)集上都獲得了最高的OA、AA以及Kappa，但對(duì)某些特定的類別也有例外。例如，在對(duì)IP數(shù)據(jù)分類中，DR-CNN在Grass-tress和Wheat兩個(gè)類上都取得了最好的效果，這可能是因?yàn)椴煌瑓^(qū)域結(jié)合增強(qiáng)了特征提取能力，在某些特定的類別中可以發(fā)揮很好的效果。

3.6 泛化性實(shí)驗(yàn)

為驗(yàn)證模型在不同樣本條件下的泛化性，分別在3個(gè)數(shù)據(jù)集上選擇不同數(shù)量的訓(xùn)練樣本進(jìn)行實(shí)驗(yàn)。圖12繪制了各方法在3組數(shù)據(jù)不同樣本條件下的分類結(jié)果，其中橫坐標(biāo)為每類選取的訓(xùn)練樣本數(shù)量，縱坐標(biāo)為總體分類精度。對(duì)于IP數(shù)據(jù)，除DCNN和DHCNet方法，所有方法的分類精度都隨著分類樣本的增加而平穩(wěn)上升，SDCNN也始終保持最高的分類精度。對(duì)于PU數(shù)據(jù)，精度上升趨勢(shì)較為平緩，SDCNN在每類1.0%樣本時(shí)分類精度即可達(dá)到99%。對(duì)于HU數(shù)據(jù)，只有MDR-CNN方法波動(dòng)較為明顯。本文方法在大多數(shù)情況下都取得了最高的分類精度，尤其是在樣本較少的情況下精度提升更為明顯。

圖12 樣本泛化性實(shí)驗(yàn)Fig.12 Generalization performance experiment

3.7 復(fù)雜度分析

為了檢驗(yàn)不同方法的復(fù)雜度，使用運(yùn)行時(shí)間以及參數(shù)量大小對(duì)各方法的復(fù)雜度進(jìn)行分析，如表9所示。在所有對(duì)比方法中，SDCNN所使用的參數(shù)量最少，這是因?yàn)镾DCNN只使用了少量的卷積層進(jìn)行特征提取，且通道數(shù)較少；DR-CNN由6個(gè)小模型組成，使得該模型的參數(shù)量較多，僅次于3D-CNN方法；從運(yùn)行時(shí)間來看，SDCNN的訓(xùn)練時(shí)間與測(cè)試時(shí)間較長，是因?yàn)榭尚巫兙矸e涉及特征插值運(yùn)算，所以導(dǎo)致整體的運(yùn)行時(shí)間增加。而DR-CNN模型由于要訓(xùn)練6個(gè)小模型，所以整體的運(yùn)算時(shí)間遠(yuǎn)遠(yuǎn)高于其他方法。

表9 不同方法的運(yùn)行時(shí)間與參數(shù)大小Table 9 Running time and parameter size of different methods

3.8 固定樣本實(shí)驗(yàn)

為進(jìn)一步對(duì)比各方法的分類性能，使用Houston數(shù)據(jù)集公開的訓(xùn)練集與測(cè)試集對(duì)不同方法的分類性能進(jìn)行對(duì)比。如圖7（c）和7（d）所示，該訓(xùn)練集與測(cè)試集是空間不相交的，即兩者之間在空間上沒有重疊；訓(xùn)練集與測(cè)試集的個(gè)數(shù)如表3所示，該樣本對(duì)各方法的分類性能有著更大的挑戰(zhàn)。表10展示了不同方法在分類樣本中的分類結(jié)果（OA、AA、Kappa），雖然固定樣本中的訓(xùn)練集個(gè)數(shù)多于隨機(jī)采樣方式的訓(xùn)練集個(gè)數(shù)，從750增加到了2832個(gè)，但各方法的分類精度仍有明顯的下降趨勢(shì)。這種現(xiàn)象可能有兩個(gè)原因：一方面，隨機(jī)采樣獲取的訓(xùn)練集與測(cè)試集之間可能高度重合，使最終的分類效果偏高；另一方面，各方法過于依賴空間特征，空間不相交樣本使得可利用的空間特征減少，從而使分類精度下降。從實(shí)驗(yàn)結(jié)果看，SDCNN在所有方法中取得了最好的分類效果，OA相較于其他方法提高了0.29%—13.06%，證明了該方法的有效性。

表10 HU數(shù)據(jù)集使用固定樣本的分類結(jié)果Table 10 Classification results using fixed samples during the training and test stages on the HU datasets

4 結(jié)論

針對(duì)空間可形變卷積在HSI分類中受窗口尺寸大小制約以及未考慮光譜信息的不足，本文將可形變卷積擴(kuò)展到光譜維中，提出了結(jié)合光譜可形變卷積的高光譜圖像分類方法（SDCNN）。在3組國際通用測(cè)試數(shù)據(jù)集上相對(duì)于其他方法取得了更好的分類效果，證明了SDCNN方法的有效性。一方面，SDCNN可以同時(shí)提取光譜特征與空間特征，且只使用了少量卷積層，參數(shù)量較少，在樣本泛化性實(shí)驗(yàn)中有著更穩(wěn)定的分類性能；另一方面，考慮特征提取時(shí)的感受野問題，通過在光譜維上的偏移采樣增強(qiáng)模型的特征提取能力。在分離樣本實(shí)驗(yàn)中，SDCNN方法相較于其他方法取得了最好的分類效果，與空間可形變卷積方法相比有著明顯的精度優(yōu)勢(shì)，證明SDCNN方法對(duì)空間特征的依賴性較小，具有更強(qiáng)的特征提取能力。在本文提出的光譜可形變卷積模塊還有進(jìn)一步研究的空間，由于只使用了最初級(jí)的可形變卷積思想，本文提出的光譜可形變卷積模塊對(duì)偏移量的學(xué)習(xí)不夠準(zhǔn)確，后續(xù)研究將考慮在可形變卷積中引入注意力機(jī)制，增強(qiáng)可形變卷積的偏移量學(xué)習(xí)能力。