楊志文 張合兵 都偉冰 潘怡莎

基于CBAM-Res-HybridSN的高光譜圖像分類(lèi)研究

楊志文 張合兵*都偉冰 潘怡莎

（河南理工大學(xué)測(cè)繪與國(guó)土信息工程學(xué)院，焦作 454003）

為了充分利用高光譜圖像的“空間-光譜”信息，提高小樣本訓(xùn)練數(shù)據(jù)下的分類(lèi)精度，文章提出了一種新型卷積注意力（Convolutional Block Attention Module，CBAM）殘差單元的混合卷積神經(jīng)網(wǎng)絡(luò)（CBAM-Res-HybridSN），以解決高光譜圖像小樣本分類(lèi)問(wèn)題。該模型通過(guò)深度可分離卷積層和殘差結(jié)構(gòu)來(lái)構(gòu)建深層混合卷積神經(jīng)網(wǎng)絡(luò)，在不增加計(jì)算機(jī)開(kāi)銷(xiāo)的同時(shí)，增強(qiáng)對(duì)“空間-光譜”鑒別性特征的提取能力；模型還引入了卷積注意力模塊，既實(shí)現(xiàn)了突出重要特征，同時(shí)對(duì)冗余和噪聲信息也進(jìn)行了抑制，在小樣本數(shù)據(jù)下提高了分類(lèi)精度。為了驗(yàn)證方法的有效性，選擇雄安新區(qū)（馬蹄灣村）和DFC2018 Houston兩組公開(kāi)高光譜數(shù)據(jù)集進(jìn)行了對(duì)比試驗(yàn)，當(dāng)選擇標(biāo)記樣本的5%作為訓(xùn)練樣本時(shí)，分類(lèi)總體精度分別為99.34%和96.14%。結(jié)果表明，所提方法在小樣本數(shù)據(jù)下保證了更高的分類(lèi)精度。

高光譜圖像 注意力機(jī)制 卷積神經(jīng)網(wǎng)絡(luò) 殘差結(jié)構(gòu) 小樣本學(xué)習(xí) 遙感應(yīng)用

0 引言

高光譜圖像（即同時(shí)承載光譜特征和空間特征的連續(xù)遙感影像）蘊(yùn)藏著地物大量的空間和光譜信息，被廣泛的應(yīng)用于農(nóng)業(yè)遙感、環(huán)境監(jiān)測(cè)、城市規(guī)劃和軍事探測(cè)等領(lǐng)域[1]。因高光譜圖像擁有大量的光譜波段，可以利用其圖像特點(diǎn)對(duì)空-譜特征[2]進(jìn)行聯(lián)合提取，實(shí)現(xiàn)此類(lèi)圖像的高精度分類(lèi)。但是，高光譜圖像具有豐富信息量的同時(shí)，也伴隨著數(shù)據(jù)冗余和噪聲干擾等問(wèn)題[3]，甚至在訓(xùn)練樣本數(shù)不足的情況下容易出現(xiàn)休斯（Hughes）現(xiàn)象[4]，導(dǎo)致分類(lèi)精度降低。因此，減少光譜數(shù)據(jù)間的冗余特征[5]和噪聲干擾[6-7]，增強(qiáng)小樣本情況下的特征提取能力，成為利用高光譜圖像進(jìn)行高精度遙感分類(lèi)的首要任務(wù)。

目前，基于機(jī)器學(xué)習(xí)的傳統(tǒng)分類(lèi)算法，如支持向量機(jī)（Support Vector Machine，SVM）[8]、隨機(jī)森林(Random Forest，RF)[9]、K最鄰近算法(K-Nearest Neighbor，KNN)[10]等，在缺少深層特征信息提取的情況下，分類(lèi)效果往往難以滿足實(shí)際需求。近年來(lái)，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法的提出，為高光譜圖像的分類(lèi)工作提供了新的思路[11-13]，并取得了顯著的研究成果，例如：文獻(xiàn)[14]在深度神經(jīng)網(wǎng)絡(luò)（DNN）基礎(chǔ)上，利用不同尺寸的卷積核構(gòu)成多尺度三維深度卷積神經(jīng)網(wǎng)絡(luò)（M3D-DCNN），通過(guò)端對(duì)端的方式聯(lián)合學(xué)習(xí)空-譜特征，在大規(guī)模數(shù)據(jù)集上取得了較好的結(jié)果；文獻(xiàn)[15]提出一種深度金字塔殘差網(wǎng)絡(luò)（pRes-Net），通過(guò)逐漸增加特征圖維度的方式不斷提取特征信息，驗(yàn)證了深層殘差網(wǎng)絡(luò)能夠有效提升模型的泛化能力，但其大大的增加了計(jì)算機(jī)的開(kāi)銷(xiāo)；文獻(xiàn)[16]提出端到端的光譜-空間殘差網(wǎng)絡(luò)（SSRN），從光譜和空間特征兩種角度出發(fā)，設(shè)計(jì)了一種光譜和空間殘差塊對(duì)網(wǎng)絡(luò)上下文學(xué)習(xí)區(qū)別特征，驗(yàn)證了從空間和光譜兩個(gè)維度分別進(jìn)行特征學(xué)習(xí)能夠有效提高分類(lèi)精度；文獻(xiàn)[17]提出2D-3D混合卷積網(wǎng)絡(luò)（HybridSN），首先通過(guò)三維卷積層融合特征信息，之后再使用多層二維卷積層對(duì)獲取的空-譜特征進(jìn)行處理，驗(yàn)證了混合卷積網(wǎng)絡(luò)在遙感影像上特征信息提取的潛力；文獻(xiàn)[18]通過(guò)構(gòu)建一種卷積注意力模塊（CBAM），使網(wǎng)絡(luò)可在兩個(gè)獨(dú)立維度上對(duì)有效特征信息進(jìn)行處理，實(shí)現(xiàn)特征信息的自適應(yīng)優(yōu)化，同時(shí)驗(yàn)證了CBAM結(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)分類(lèi)精度提高的普適性；文獻(xiàn)[19]通過(guò)構(gòu)建3D卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取高光譜圖像特征信息，并在微調(diào)策略支持下融合特征信息完成分類(lèi)任務(wù)。上述研究中的傳統(tǒng)機(jī)器學(xué)習(xí)分類(lèi)方法往往無(wú)法深度提取特征信息，導(dǎo)致分類(lèi)精度不足，難以滿足遙感分類(lèi)任務(wù)的實(shí)際需求。同時(shí)卷積神經(jīng)網(wǎng)絡(luò)雖可以提高分類(lèi)精度，但為了保證其高精度，需要大量的訓(xùn)練樣本，忽略了小樣本學(xué)習(xí)分類(lèi)問(wèn)題的實(shí)際需求。因此，增強(qiáng)特征信息提取能力，提高小樣本數(shù)據(jù)分類(lèi)精度，成為深度學(xué)習(xí)網(wǎng)絡(luò)亟待解決的問(wèn)題[20]。

針對(duì)小樣本數(shù)據(jù)分類(lèi)精度不高的問(wèn)題，本文在混合卷積網(wǎng)絡(luò)（HybridSN）模型啟發(fā)下，提出了一種引入新型卷積注意力殘差單元的混合卷積神經(jīng)網(wǎng)絡(luò)（CBAM-Res-HybridSN），在殘差結(jié)構(gòu)的思想上引入CBAM注意力模塊，可增強(qiáng)地物鑒別性特征的提取能力；并使用深度可分離卷積層代替2D卷積層，減少網(wǎng)絡(luò)參數(shù)量和計(jì)算量。該新型網(wǎng)絡(luò)模型能夠在小樣本訓(xùn)練數(shù)據(jù)下，不增加計(jì)算機(jī)運(yùn)算開(kāi)銷(xiāo)的同時(shí)，對(duì)上下文特征進(jìn)行自適應(yīng)連續(xù)學(xué)習(xí)，提高了對(duì)地物的區(qū)別能力，達(dá)到了更佳的分類(lèi)效果。

1 研究方法與原理

1.1 深度可分離卷積

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、激活函數(shù)和全連接層構(gòu)成[21]，其卷積核尺寸過(guò)大和卷積層數(shù)加深都會(huì)導(dǎo)致模型參數(shù)量增多，增加計(jì)算量。Howard等[22]在移動(dòng)端設(shè)備上驗(yàn)證了深度可分離卷積神經(jīng)網(wǎng)絡(luò)的輕量化，深度可分離卷積[23]由深度卷積（Depthwise convolution）和1×1的逐點(diǎn)卷積（Pointwise convolution）兩部分的組成（見(jiàn)圖1）。

圖1 深度可分離卷積網(wǎng)絡(luò)結(jié)構(gòu)

由圖1所示，當(dāng)處理維度為f×f的特征圖（其中f為輸入特征圖的高度和寬度，為數(shù)據(jù)輸入通道數(shù)），數(shù)據(jù)的輸出通道數(shù)為時(shí)，設(shè)定卷積核尺寸為k×k（k為卷積核的寬度和高度），得到一個(gè)維度為f×f的特征圖，若按照普通卷積模式進(jìn)行運(yùn)算，卷積網(wǎng)絡(luò)的參數(shù)量1為

圖1中，深度可分離卷積將普通卷積操作分解為個(gè)卷積核尺寸為k×k的深度卷積和個(gè)1×1的逐點(diǎn)卷積。假設(shè)輸入特征圖的維度為f×f經(jīng)過(guò)深度卷積操作后得到k×k的特征圖，再經(jīng)過(guò)逐點(diǎn)卷積操作得到f×f的特征圖，深度卷積的參數(shù)量3和逐點(diǎn)卷積參數(shù)量4之和為深度可分離卷積的參數(shù)量2，計(jì)算公式為

由式（1）～（2），可以推出普通卷積操作和深度可分離卷積之間的參數(shù)量比值為

1.2 CBAM殘差單元的混合卷積神經(jīng)網(wǎng)絡(luò)模型

本文提出的模型主要用于小樣本數(shù)據(jù)下的高光譜圖像分類(lèi)，克服機(jī)器學(xué)習(xí)分類(lèi)方法對(duì)特征信息挖掘深度不夠和深層卷積神經(jīng)網(wǎng)絡(luò)在小樣本數(shù)據(jù)下網(wǎng)絡(luò)退化與過(guò)擬合等問(wèn)題。

該模型首先通過(guò)三層不同尺寸卷積核的3D卷積層對(duì)影像特征信息進(jìn)行多尺度融合提取，以不同尺寸感受野角度深層篩選特征信息，將獲得的特征圖進(jìn)行尺寸變化，輸入至CBAM注意力殘差單元。殘差結(jié)構(gòu)以跳躍鏈接的形式將單元輸入端與輸出端進(jìn)行疊加，然后進(jìn)行激活，通過(guò)構(gòu)造出特征信息之間恒等映射的方式來(lái)降低信息損失，解決網(wǎng)絡(luò)退化問(wèn)題，提高模型分類(lèi)精度；CBAM注意力殘差單元作用于每個(gè)卷積層上，在卷積層進(jìn)行特征提取時(shí)，注意力殘差單元通過(guò)明確特征信息在通道和空間上的權(quán)重關(guān)系來(lái)自適應(yīng)地校準(zhǔn)各特征信息的重要性；最后，將得到的特征圖輸入至由深度可分離和平均池化層構(gòu)建的殘差結(jié)構(gòu)中進(jìn)一步處理特征信息，再通過(guò)全連接層和激活函數(shù)處理，實(shí)現(xiàn)對(duì)高光譜圖像的分類(lèi)。其構(gòu)成及工作流程如圖2所示。

圖2 本文卷積神經(jīng)網(wǎng)絡(luò)模型

1.2.1 CBAM注意力機(jī)制的殘差單元

本文將CBAM注意力模塊與深度可分離卷積在殘差結(jié)構(gòu)的思想上進(jìn)行組合，構(gòu)成基于CBAM注意力的新型殘差單元，其主卷積網(wǎng)絡(luò)由兩層深度可分離卷積層和兩個(gè)CBAM注意力模塊構(gòu)成，由一層深度可分離卷積和一個(gè)CBAM注意力模塊構(gòu)成支網(wǎng)絡(luò)，通過(guò)一條殘差鏈接與主網(wǎng)絡(luò)首尾相連對(duì)特征進(jìn)一步提取。具體結(jié)構(gòu)如圖3所示。

圖3 CBAM注意力殘差單元結(jié)構(gòu)

1.2.2 殘差結(jié)構(gòu)

為解決深層網(wǎng)絡(luò)中梯度消失、網(wǎng)絡(luò)退化等問(wèn)題，加入殘差結(jié)構(gòu)，實(shí)現(xiàn)跳躍連接，完成對(duì)特征信息的合并再處理，緩解網(wǎng)絡(luò)的退化現(xiàn)象并加速網(wǎng)絡(luò)收斂[24]。

（a）普通卷積網(wǎng)絡(luò)結(jié)構(gòu) （b）殘差網(wǎng)絡(luò)結(jié)構(gòu)

圖4為普通卷積網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，相較于普通卷積結(jié)構(gòu)，殘差結(jié)構(gòu)加入殘差函數(shù)構(gòu)成擬合函數(shù)，即

1.2.3 CBAM注意力機(jī)制

注意力機(jī)制被廣泛應(yīng)用于圖像分類(lèi)，以增強(qiáng)神經(jīng)網(wǎng)絡(luò)對(duì)輸入特征某些局部信息的專(zhuān)注程度，運(yùn)用機(jī)器學(xué)習(xí)的方式實(shí)現(xiàn)自適應(yīng)校正特征信息權(quán)重值，以提取重要特征并抑制次要特征。為了充分利用空-譜特征，將空間和通道注意力相結(jié)合構(gòu)成混合域注意力，其模塊劃分如圖5所示。

圖5 CBAM注意力模塊

首先將特征圖輸入通道注意力模塊，分別進(jìn)入極大池化層和平均池化層得到每個(gè)通道的信息，將特征信息疊加處理得到通道注意力特征圖c，計(jì)算公式為

將通道注意力模塊輸出的特征圖c與最初特征圖拼接得到特定特征圖X，并輸入到空間注意力模塊，依次通過(guò)平均池化層和極大池化層，生成空間特征圖avg和max，再通過(guò)1×1卷積層和激活函數(shù)，得到空間注意力特征s；接著與特定特征圖X逐元素相乘，得到最終的特征圖s，計(jì)算公式為

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)數(shù)據(jù)

為了評(píng)估所提方法的有效性，截取雄安新區(qū)（馬蹄灣村）航空高光譜遙感影像和DFC2018 Houston高光譜影像的部分區(qū)域進(jìn)行試驗(yàn)。馬蹄灣村數(shù)據(jù)集于2017年由張立福團(tuán)隊(duì)制作，使用高分專(zhuān)項(xiàng)航空系統(tǒng)全譜段多模態(tài)成像光譜儀對(duì)雄安新區(qū)（馬蹄灣村）進(jìn)行拍攝成像；DFC2018 Houston數(shù)據(jù)集2018年由華盛頓Dr. Saurabh Prasad實(shí)驗(yàn)室制作公開(kāi)，被用于IEEE GRSS數(shù)據(jù)融合競(jìng)賽。本文截取的數(shù)據(jù)集信息如表1所示，試驗(yàn)區(qū)位置如圖6所示。

表1 截取數(shù)據(jù)集信息

Tab.1 Information table of intercepted dataset

圖6 試驗(yàn)區(qū)位置示意

2.2 試驗(yàn)設(shè)計(jì)與評(píng)價(jià)指標(biāo)

2.3 試驗(yàn)參數(shù)設(shè)置

2.3.1 空間鄰域大小

對(duì)于高光譜圖像，鄰域像素之間往往具有相似的特征，它們屬于同一物體的概率非常高。圖像空間鄰域大小即高光譜圖像每次輸送至卷積神經(jīng)網(wǎng)絡(luò)的圖像尺寸。選擇一個(gè)合適的空間鄰域大小能夠使模型充分學(xué)習(xí)圖像的空間特征，同時(shí)避免地物目標(biāo)識(shí)別錯(cuò)誤，從而提高分類(lèi)精度。

為探究空間鄰域大小對(duì)分類(lèi)結(jié)果的影響，將空間鄰域大小分別設(shè)置為9×9、11×11、13×13、15×15和17×17，根據(jù)各自的分類(lèi)結(jié)果（見(jiàn)表2和圖7）來(lái)選取最優(yōu)空間鄰域大小。如圖7所示，對(duì)于馬蹄灣村和DFC2018 Houston數(shù)據(jù)集，當(dāng)空間鄰域大小為13×13時(shí)，精度達(dá)到最高，隨后，精度開(kāi)始下降。由表2可知，隨著空間鄰域大小的增加，訓(xùn)練時(shí)間和測(cè)試時(shí)間增加的幅度并不大，這得益于深度可分離卷積的參與，降低了模型的復(fù)雜度，所以在兩組數(shù)據(jù)集上，將空間鄰域大小13×13作為最優(yōu)參數(shù)。

表2 不同空間鄰域大小對(duì)分類(lèi)結(jié)果的影響

Tab.2 Effect of different spatial sizes on classification results

圖7 不同空間鄰域大小對(duì)分類(lèi)精度的影響

2.3.2 殘差單元數(shù)量

殘差單元的數(shù)量直接影響整個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型的特征信息提取能力。若網(wǎng)絡(luò)深度是淺層的，將不能有效地提取特征信息，而過(guò)于深層的網(wǎng)絡(luò)則易出現(xiàn)梯度消失和過(guò)擬合現(xiàn)象，都將影響分類(lèi)精度。

為探究殘差單元數(shù)量對(duì)分類(lèi)結(jié)果的影響，在空間鄰域大小試驗(yàn)的基礎(chǔ)上，將殘差單元數(shù)量分別設(shè)置為1、2、3、4、5進(jìn)行試驗(yàn)，根據(jù)分類(lèi)結(jié)果來(lái)選取最佳殘差單元數(shù)量。殘差單元數(shù)量對(duì)于數(shù)據(jù)集分類(lèi)的影響如表3所示，在兩組數(shù)據(jù)集上，訓(xùn)練和測(cè)試時(shí)間并沒(méi)有隨著殘差單元數(shù)量的增加而發(fā)生顯著變化，這得益于殘差結(jié)構(gòu)端對(duì)端連接形成的恒等映射關(guān)系，因未引入冗余參數(shù)，節(jié)省了計(jì)算機(jī)訓(xùn)練開(kāi)銷(xiāo)。注意力殘差單元的引入對(duì)于分類(lèi)精度的提高是顯著的。如圖8所示，在馬蹄灣村數(shù)據(jù)集上，當(dāng)殘差單元數(shù)為2時(shí)，獲得了最佳精度；對(duì)于DFC2018 Houston數(shù)據(jù)集，當(dāng)殘差單元數(shù)為3時(shí)，獲得了最佳的分類(lèi)精度。但是，分類(lèi)精度并不會(huì)隨著殘差單元數(shù)量的增加而一直升高，當(dāng)參殘單元數(shù)量超過(guò)最佳個(gè)數(shù)時(shí)，分類(lèi)精度開(kāi)始下降，表明設(shè)置合適的殘差單元數(shù)量，是實(shí)現(xiàn)高精度分類(lèi)的重要前提。

表3 殘差單元數(shù)量對(duì)分類(lèi)結(jié)果的影響

Tab.3 Effect of the number of residual units on the classification results

圖8 殘差單元數(shù)量對(duì)分類(lèi)精度的影響

2.4 試驗(yàn)結(jié)果對(duì)比與分析

為了測(cè)試本文提出的CBAM-Res-HybridSN方法與其他幾種卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法對(duì)不同數(shù)量訓(xùn)練樣本的分類(lèi)效果，選擇標(biāo)記樣本的5%、10%、15%和20%作為馬蹄灣村和DFC2018 Houston數(shù)據(jù)集的訓(xùn)練樣本進(jìn)行試驗(yàn)，總體分類(lèi)精度結(jié)果如表4所示。對(duì)于少量的訓(xùn)練樣本，SVM方法相較于深度學(xué)習(xí)方法表現(xiàn)最差；M3D-DCNN方法并沒(méi)有出現(xiàn)因網(wǎng)絡(luò)深度高于HybridSN法而分類(lèi)結(jié)果更優(yōu)的情況，說(shuō)明多尺度的三維卷積深層網(wǎng)絡(luò)在小樣本訓(xùn)練數(shù)據(jù)中，易發(fā)生特征信息丟失；與pResNet和SSRN網(wǎng)絡(luò)相比，CBAM-Res-HybridSN網(wǎng)絡(luò)將注意力機(jī)制引入殘差單元中，使模型能夠提取更多的鑒別性特征，產(chǎn)生較高的分類(lèi)精度。當(dāng)訓(xùn)練樣本量增加時(shí)，CBAM-Res-HybridSN方法在兩組數(shù)據(jù)集中的分類(lèi)效果仍為最好，分類(lèi)效果較pResNet和SSRN方法略微提升。

表4 兩個(gè)數(shù)據(jù)集不同樣本量對(duì)各分類(lèi)模型總體分類(lèi)精度的影響

Tab.4 Effect of different sample sizes on two datas on the results of each classification model 單位：%

圖9～10顯示了訓(xùn)練樣本量為標(biāo)記樣本的5%時(shí)，不同網(wǎng)絡(luò)模型在馬蹄灣村和DFC2018 Houston數(shù)據(jù)集上的分類(lèi)結(jié)果，以及原始高光譜圖像的真彩色圖像及其相應(yīng)的地面真實(shí)樣本分布圖。從分類(lèi)圖中可以清楚地看到，采用小樣本訓(xùn)練數(shù)據(jù)時(shí)，SVM分類(lèi)結(jié)果中會(huì)產(chǎn)生許多噪聲點(diǎn)，導(dǎo)致錯(cuò)分，這是由于SVM法僅使用光譜特征進(jìn)行分類(lèi)，對(duì)空-譜特征的利用不足；M3D-DCNN結(jié)構(gòu)在深層三維卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上改變了卷積核的尺寸和網(wǎng)絡(luò)深度，從多尺度上提取特征信息，其噪聲點(diǎn)相對(duì)SVM方法明顯減少，分類(lèi)精度顯著提升；HybridSN結(jié)構(gòu)相較于M3D-DCNN引入了2D-CNN網(wǎng)絡(luò)，能夠?qū)μ卣餍畔⑦M(jìn)行尺寸變換，增加了從不同維度提取特征信息的能力，因此分類(lèi)結(jié)果略微優(yōu)于M3D-DCNN；增加殘差結(jié)構(gòu)的pResNet、SSRN和本文的CBAM-Res-HybridSN模型更好的克服了特征信息損失的缺點(diǎn)，尤其是本研究提出的網(wǎng)絡(luò)模型，其在增加注意力機(jī)制后顯示出了更好的分類(lèi)結(jié)果。

圖9 不同網(wǎng)絡(luò)模型在馬蹄灣村數(shù)據(jù)集上的分類(lèi)結(jié)果

表5～6顯示了訓(xùn)練樣本量為標(biāo)記樣本的5%時(shí)，兩組數(shù)據(jù)集在不同網(wǎng)絡(luò)模型上各種地物類(lèi)型的分類(lèi)精度。從結(jié)果可以觀察到，本文模型相較于傳統(tǒng)機(jī)器學(xué)習(xí)分類(lèi)算法支持向量機(jī)（SVM）和深層多尺度網(wǎng)絡(luò)模型M3D-DCNN和HybridSN，分類(lèi)精度大幅提升，相較于殘差結(jié)構(gòu)下的深層網(wǎng)絡(luò)模型pResNet和SSRN，分類(lèi)精度也有小幅度提升。其中在馬蹄灣村和DFC2018 Houston數(shù)據(jù)集上相較于其他模型在Kappa系數(shù)、總體精度和平均精度上都有一定程度的提高。同時(shí)，深度學(xué)習(xí)分類(lèi)模型的分類(lèi)精度往往在95%以上，都高于機(jī)器學(xué)習(xí)分類(lèi)算法的分類(lèi)精度，且深度學(xué)習(xí)分類(lèi)模型的分類(lèi)精度并不會(huì)隨著網(wǎng)絡(luò)深度的增加而一直增加。在本研究所提殘差結(jié)構(gòu)中，引入注意力機(jī)制后，對(duì)于兩組數(shù)據(jù)集，增加了對(duì)其特征信息的自適應(yīng)優(yōu)化，其分類(lèi)結(jié)果的Kappa系數(shù)、平均分類(lèi)精度和總體分類(lèi)精度都較其他網(wǎng)絡(luò)模型有所提高。說(shuō)明CBAM注意力殘差單元的加入能夠在小樣本訓(xùn)練數(shù)據(jù)下有效提高高光譜圖像分類(lèi)精度。

表5 馬蹄灣村數(shù)據(jù)集在6種模型上的分類(lèi)精度

Tab.5 Classification accuracy for the Matiwan Village dataset on the six models 單位：%

表6 DFC2018 Houston數(shù)據(jù)集在6種模型上的分類(lèi)結(jié)果

Tab.6 Classification results for the DFC2018 Houston dataset on the six models 單位：%

3 結(jié)束語(yǔ)

與其他分類(lèi)方法相比，本文提出的CBAM-Res-HybridSN網(wǎng)絡(luò)模型在小樣本學(xué)習(xí)上更有優(yōu)勢(shì)，顯著提高了分類(lèi)器性能和分類(lèi)精度，但也有不足，后續(xù)的研究中將繼續(xù)改進(jìn)網(wǎng)絡(luò)的結(jié)構(gòu)，使模型具有更加強(qiáng)大的特征提取能力，能夠在小樣本數(shù)據(jù)上表現(xiàn)出更高的分類(lèi)精度。

[1] 張淳民, 穆廷魁, 顏廷昱, 等. 高光譜遙感技術(shù)發(fā)展與展望[J]. 航天返回與遙感, 2018, 39(3): 104-114. ZHANG Chunmin, MU Tingkui, YAN Tingyu, et al. Overview of Hyperspectral Remote Sensing Technology[J]. Spacecraft Recovery & Remote Sensing, 2018, 39(3): 104-114. (in Chinese)

[2] 任智偉, 吳玲達(dá). 基于本征圖像分解的高光譜圖像空譜聯(lián)合分類(lèi)[J]. 航天返回與遙感, 2019, 40(3): 111-120. REN Zhiwei, WU Lingda. Spectral-spatial Classification for Hyperspectral Imagery Based on Intrinsic Image Decomposition[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(3): 111-120. (in Chinese)

[3] PEYGHAMBARI S, ZHANG Y. Hyperspectral Remote Sensing in Lithological Mapping, Mineral Exploration, and Environmental Geology: An Updated Review[J]. Journal of Applied Remote Sensing, 2021, 15(3): 31501.

[4] FRAT H, ASKER M E, BAYNDR M L, et al. Hybrid 3D/2D Complete Inception Module and Convolutional Neural Network for Hyperspectral Remote Sensing Image Classification[J/OL]. Neural Processing Letters (2022-07-02) [2022-08-09]. https:doi.org/10.1007/S11063-002-10929-2.

[5] LIU R, CAI W W, LI G J, et al. Hybrid Dilated Convolution Guided Feature Filtering and Enhancement Strategy for Hyperspectral Image Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1-5.

[6] CHANG CI. Hyperspectral Target Detection: Hypothesis Testing, Signal-to-Noise Ratio, and Spectral Angle Theories[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-23.

[7] WANG L, PENG J T, SUN W W. Spatial-Spectral Squeeze-and-Excitation Residual Network for Hyperspectral Image Classification[J]. Remote Sensing, 2019, 11(7): 884.

[8] CHEN G Y. Multiscale Filter-Based Hyperspectral Image Classification with PCA and SVM[J]. Journal of Electrical Engineering, 2021, 72(1): 40-45.

[9] 于新洋, 趙庚星, 常春艷, 等. 隨機(jī)森林遙感信息提取研究進(jìn)展及應(yīng)用展望[J]. 遙感信息, 2019, 34(2): 8-14. YU Xinyang, ZHAO Gengxing, CHANG Chunyan, et al. Random Forest Classifier in Remote Sensing Information Extraction: A Review of Applications and Future Development[J]. Remote Sensing Information, 2019, 34(2): 8-14. (in Chinese)

[10] GE Haimiao, PAN Haizhu, WANG Liguo, et al. Self-Training Algorithm for Hyperspectral Imagery Classification Based on Mixed Measurement k-Nearest Neighbor and Support Vector Machine[J]. Journal of Applied Remote Sensing, 2021, 15(4): 42604.

[11] 陳玲玲, 施政, 廖凱濤, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的高分遙感影像耕地提取研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2022, 53(9): 1-12. CHEN Lingling, SHI Zheng, LIAO Kaitao, et al. Cultivated Land Extraction from High Resolution Remote Sensing Image Based on Convolutional Neural Network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(9): 1-12. (in Chinese)

[12] 國(guó)強(qiáng), 彭龍. 基于三維卷積神經(jīng)網(wǎng)絡(luò)與超像素分割的高光譜分類(lèi)[J]. 光學(xué)學(xué)報(bào), 2021, 41(22): 64-71. GUO Qiang, PENG Long. Hyperspectral Classification Based on 3D Convolutional Neural Network and Super Pixel Segmentation[J]. Acta Optica Sinica, 2021, 41(22): 64-71. (in Chinese)

[13] 劉冰, 余旭初, 張鵬強(qiáng), 等. 聯(lián)合空-譜信息的高光譜影像深度三維卷積網(wǎng)絡(luò)分類(lèi)[J]. 測(cè)繪學(xué)報(bào), 2019, 48(1): 53-63. LIU Bing, YU Xuchu, ZHANG Pengqiang, et al. Deep 3D Convolutional Network Combined withs Patial-Spectral Features for Hyperspectral Image Classification[J]. Acta Geodaetica et Cartographica Sinic, 2019, 48(1): 53-63. (in Chinese)

[14] YE Bei, TIAN Shufang, CHENG Qiuming, et al. Application of Lithological Mapping Based on Advanced Hyperspectral Imager (AHSI) Imagery Onboard Gaofen-5 (GF-5) Satellite[J]. Remote Sensing, 2020, 12(23): 3990.

[15] PAOLETTI M E, HAUT J M, FERNANDEZ-BELTRAN R, et al. Deep Pyramidal Residual Networks for Spectral-Spatial Hyperspectral Image Classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 57(2): 740-754.

[16] ZHONG Zilong, LI Jonathan, LUO Zhiming, et al. Spectral-Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(2): 847-858.

[17] ROY S K, KRISHNA G, DUBEY S R, et al. HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(2): 277-281.

[18] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional Block Attention Module[C]//Proceedings of the 15th European Conference on Computer Vision (ECCV). [S.l.:s.n.], 2018: 3-19.

[19] 劉帥, 張旭含, 李笑迎, 等. 基于雙分支卷積網(wǎng)絡(luò)的高光譜與多光譜圖像協(xié)同土地利用分類(lèi)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2020, 36(14): 252-262. LIU Shuai, ZHANG Xuhan, LI Xiaoying, et al. Cooperative Land Use Classification of Hyperspectral and Multispectral Imagery Based on Dual Branch Convolutional Neural Network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 252-262. (in Chinese)

[20] DANG Lanxue, PANG Peidong, LEE J. Depth-Wise Separable Convolution Neural Network with Residual Connection for Hyperspectral Image Classification[J]. Remote Sensing, 2020, 12(20): 3408.

[21] 郭正勝, 李參海, 王智敏. U型卷積神經(jīng)網(wǎng)絡(luò)的ZY-3影像道路提取方法[J]. 測(cè)繪科學(xué), 2020, 45(4): 51-57. GUO Zhengsheng, LI Canhai, WANG Zhimin. Road Extraction from ZY-3 Remote Sensing Image Based on U-Net Like Convolution Architecture[J]. Science of Surveying and Mapping, 2020, 45(4): 51-57. (in Chinese)

[22] HOWARD A G, ZHU M, CHEN B, et al. Mobilenets: Efficient Convolutional Neural Networks for Mobile Vision Applications[EB/OL]. (2017-04-17) [2022-08-09]. https:doi.org/10.48550/arxiv.1704.04861.

[23] 孫俊, 譚文軍, 武小紅, 等. 多通道深度可分離卷積模型實(shí)時(shí)識(shí)別復(fù)雜背景下甜菜與雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2019, 35(12): 184-190. SUN Jun, TAN Wenjun, WU Xiaohong, et al. Real-Time Recognition of Sugar Beet and Weeds in Complex Backgrounds Using Multi-Channel Depth-Wise Separable Convolution Model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(12): 184-190. (in Chinese)

[24] 陳明, 席祥雲(yún), 王洋. 利用殘差生成對(duì)抗網(wǎng)絡(luò)的高光譜圖像分類(lèi)[J]. 激光與光電子學(xué)進(jìn)展, 2022, 59(22): 2210008. CHEN Ming, XI Xiangyun, WANG Yang. Hyperspectral Image Classification Based on Residual Ggenerative Adversarial Network[J]. Laser & Optoelectronics Progress, 2022, 59(22): 2210008. (in Chinese)

A Study of Small Sample Hyperspectral Image Classification Based on CBAM-Res-HybridSN

YANG Zhiwen ZHANG Hebing DU Weibing PAN Yisha

(School of Survey and Mapping Land Information Engineering, Henan Polytechnic University, Jiaozuo 454003, China)

In order to make full use of the "spatial-spectral" information of hyperspectral images and improve the classification accuracy under small-sample training data. In this paper, a new hybrid convolutional neural network (CBAM-Res-HybridSN) with residual units of Convolutional Block Attention Module (CBAM) is proposed to solve the problem of classifying small samples of hyperspectral images. The model constructs a deep hybrid convolutional neural network with deeply separable convolutional layers and residual structures to enhance the "spatial-spectral" discriminative feature extraction without increasing the computer overhead. The convolutional attention module is also introduced to highlight important features while suppressing redundant and noisy information, thus improving the classification accuracy under small sample data. To verify the effectiveness of the method, two public hyperspectral datasets, Xiong'an New Area (Matiwan Village) and DFC2018 Houston, were selected for comparison experiments, and the overall classification accuracy was 99.34% and 96.14%, respectively, when 5% of the labeled samples were selected as training samples. The results show that the proposed method ensures higher classification accuracy with small sample data.

hyperspectral images; attention mechanism; convolutional neural network; residual structure; few-shot learning; application of remote sensing

TP79

A

1009-8518(2023)03-0085-12

10.3969/j.issn.1009-8518.2023.03.010

楊志文，男，1998年生，2016年獲河南理工大學(xué)測(cè)繪工程工學(xué)學(xué)士學(xué)位，現(xiàn)于河南理工大學(xué)測(cè)繪與科學(xué)技術(shù)專(zhuān)業(yè)攻讀碩士學(xué)位。主要研究方向?yàn)閿z影測(cè)量與遙感。E-mail：doctor_y1998@163.com。

張合兵，男，1975年生，2016年獲河南理工大學(xué)大地測(cè)量學(xué)與測(cè)量工程專(zhuān)業(yè)博士學(xué)位，教授，博士生導(dǎo)師。主要研究方向?yàn)閿z影測(cè)量與遙感。E-mail：jzitzhb@hpu.edu.cn。

2022-08-09

國(guó)家自然科學(xué)基金（U21A20108）；河南省科技攻關(guān)項(xiàng)目（222102320306）；河南理工大學(xué)基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)項(xiàng)目(自然科學(xué)類(lèi))（NSFRF220424）；智慧中原地理信息技術(shù)河南省協(xié)同創(chuàng)新中心時(shí)空感知與智能處理自然資源部重點(diǎn)實(shí)驗(yàn)室聯(lián)合基金（No.211102）；智慧中原地理信息技術(shù)系統(tǒng)創(chuàng)新中心PI項(xiàng)目（2020C002）

楊志文, 張合兵, 都偉冰, 等. 基于CBAM-Res-HybridSN的高光譜圖像分類(lèi)研究[J]. 航天返回與遙感, 2023, 44(3): 85-96.

YANG Zhiwen, ZHANG Hebing, DU Weibing, et al. A Study of Small Sample Hyperspectral Image Classification Based on CBAM-Res-HybridSN[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(3): 85-96. (in Chinese)

（編輯：夏淑密）