吳慶崗,劉中馳,賀夢坤

(鄭州輕工業(yè)大學 計算機與通信工程學院， 鄭州 450002)

0 引言

高光譜圖像(hyperspectral image，HSI)[1]的光譜維度劃分更加細致，與彩色圖像包含紅、綠、藍3個光譜波段不同，它由幾十甚至上百個光譜波段組成。豐富的光譜信息使HSI具有較強的地物區(qū)分能力，在軍事偵察、城市規(guī)劃、農作物估產(chǎn)和環(huán)境監(jiān)測等領域有著廣泛的應用，這離不開高光譜圖像分類技術。近年來，許多方法被應用于HSI分類任務中，包括支持向量機(support vector machine,SVM)[2]、決策樹(decision tree,DT)[3]和最大似然分類法(maximum likelihood classifier,MLC)[4]等。但是，這些傳統(tǒng)高光譜圖像分類方法只能提取淺層特征，往往忽略了深層特征，導致分類精度受到極大影響。

深度學習在圖像深層特征提取方面具有較強的優(yōu)勢，越來越多的學者使用深度學習方法對高光譜圖像分類進行研究，其中典型代表是卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)[5]。Hu等[6]采用單層卷積對HSI進行特征提取，嘗試將卷積神經(jīng)網(wǎng)絡用于高光譜圖像分類任務。Chen等[7]采用多層卷積網(wǎng)絡對高光譜圖像深層特征進行提取，該方法使用少量訓練樣本提升了分類效果。僅利用光譜信息不能夠全面有效地表達高光譜數(shù)據(jù)特征，在光譜特征基礎上融合空間特征是高光譜圖像分類的有益補充。一些研究表明，上下文信息可以有效提高HSI分類性能，聯(lián)合空間信息和光譜信息的分類方法逐漸成為研究熱點。Yang等[8]使用兩路卷積神經(jīng)網(wǎng)絡提取高光譜遙感圖像的空間特征和光譜特征，實驗結果表明，空譜聯(lián)合特征可顯著提高HSI的分類精度。但是，二維卷積網(wǎng)絡(2D-CNN)需要在光譜和空間2個維度分別進行特征提取，容易丟失光譜信息，導致提取的空譜聯(lián)合特征不夠充分。然而，三維卷積網(wǎng)絡(3D-CNN)[9]可以有效提取空譜聯(lián)合特征，為高光譜圖像的精準分類提供基礎。Zhong等[10]提出端到端的光譜殘差網(wǎng)絡(SSRN)對高光譜圖像進行分類，以原始的三維數(shù)據(jù)立方體作為輸入，通過3D-CNN同時提取光譜特征和空間特征。齊永鋒等[11]結合多尺度與殘差思想，從不同感受野提取層次更深、魯棒性更強的特征，進行高光譜圖像分類。Ma等[12]在DBDA網(wǎng)絡模型中引入注意力機制細化高光譜特征提取，獲得了更好的分類性能。

雖然卷積神經(jīng)網(wǎng)絡在高光譜圖像分類領域已經(jīng)獲得較好的性能，但是仍然存在一些問題：如高光譜遙感圖像標記樣本少，如何在樣本受限的情況下提取有效的特征十分關鍵；其次，深層特征在神經(jīng)網(wǎng)絡各節(jié)點的貢獻度相同，如何區(qū)分特征的不同貢獻度是一個難題。針對上述問題，提出一種基于多尺度3D-CNN(multi-scale 3D-CNN,MS3D-CNN)和卷積塊注意力機制(convolutional block attention mechanism,CBAM)[13]相融合的高光譜圖像分類網(wǎng)絡模型(MS3D-CNN-A)。結果表明，在樣本受限和地物種類復雜的高光譜圖像上，本文方法獲得滿意的分類結果。

1 基于MS3D-CNN-A的高光譜圖像分類網(wǎng)絡模型

為克服高光譜圖像分類中存在的空間信息利用不充分、樣本標記數(shù)量不足等問題，基于MS3D-CNN和卷積塊注意力機制提出高光譜圖像分類方法MS3D-CNN-A，該方法的網(wǎng)絡結構如圖1所示。首先，利用3D-CNN以特征映射方式從不同感受野提取HSI的光譜特征和空間特征，對二者拼接融合得到空譜特征，以減少光譜信息和空間信息的丟失。其次，引入卷積塊注意力機制對空譜特征進行細化，增強顯著特征表現(xiàn)，過濾與分類任務不相關的特征，提高地物目標特征的辨識能力。然后，隨著模型深度的增加，網(wǎng)絡退化和梯度消失等問題接踵而來，采用ResNet思想[14]構建深層網(wǎng)絡以提取深層特征，防止網(wǎng)絡退化和梯度消失。此外，光譜的高維特性使得分類網(wǎng)絡需要大量參數(shù)進行訓練，但是高光譜圖像標記樣本少，導致參數(shù)提供不足，經(jīng)常出現(xiàn)過擬合現(xiàn)象。使用Dropout方法[15]在網(wǎng)絡訓練過程中隨機丟棄部分神經(jīng)元，緩解因需要大量參數(shù)導致的過擬合現(xiàn)象。最后，利用Softmax分類器實現(xiàn)對高光譜圖像的分類。

圖1 本文高光譜圖像分類網(wǎng)絡模型結構框圖

1.1 多尺度3D-CNN特征提取和融合

多尺度3D-CNN網(wǎng)絡結構由多個不同尺度的三維卷積組成，可以提取豐富的上下文信息，為高光譜圖像分類提供大量的光譜特征和空間特征。Tran等[16]研究發(fā)現(xiàn)卷積核尺度較小的3D-CNN網(wǎng)絡可以有效學習視頻圖像的時空特征。受此啟發(fā)，將高光譜圖像的光譜維看作視頻圖像的時間維，利用多個小尺度的三維卷積實現(xiàn)對高光譜圖像光譜特征和空間特征的提取。多尺度三維卷積計算公式為：

(1)

多尺度三維卷積特征提取和融合模塊包含光譜特征提取、空間特征提取和空譜特征融合3個組成部分，結構如圖2所示。光譜特征提取包含4個并行的多尺度三維卷積，從不同感受野提取光譜特征，對提取的多尺度光譜特征進行相加運算。高光譜圖像除了提供大量的光譜特征外，還包含豐富的與之相互補充的空間特征，空間距離較近的像素通常很大概率屬于同類地物。因此，為彌補光譜特征難以有效描述高光譜數(shù)據(jù)的缺點，在光譜特征基礎上融合空間特征對高光譜圖像分類是有益的補充。比如，當2個不同的地物受其他光譜的干擾而具有相同的光譜特征時，可以利用形狀和紋理等空間特征輔助對其進行分類。所以，引入空間特征可有效解決高光譜分類結果中空間不連續(xù)性問題?？臻g特征提取模塊包含2個并行的三維卷積，提取不同尺度的空間特征。在空譜特征融合部分，如圖3所示，以拼接方式將光譜特征和空間特征進行融合，通過卷積操作輸出空譜聯(lián)合特征。

圖2 HSI光譜特征和空間特征提取與融合模塊結構框圖

圖3 HSI光譜特征和空間特征融合模塊示意圖

在上述特征提取與融合模塊中，卷積核的詳細參數(shù)如表1所示，其中H和W為空間維大小，B為光譜維大小。在多尺度三維特征提取和融合過程中，為分析從不同感受野提取光譜和空間特征對運算成本的影響，在表1最后一列給出相應卷積核的參數(shù)個數(shù)。在光譜特征提取過程中，多尺度三維卷積沿光譜維的滑動步長為1，不同尺度需要不同的參數(shù)。從表1可以看出，卷積1_x的參數(shù)個數(shù)隨卷積核尺寸的增大而增加。在空間特征提取過程中，由于光譜信息參與空間特征提取的計算，使得卷積2_x的參數(shù)個數(shù)增加到1282×H×W×B+128(B為HSI圖像的光譜維度)。在空譜特征融合階段，卷積核的參數(shù)個數(shù)為32 896。參數(shù)個數(shù)越多，多尺度三維特征提取和融合模塊的計算成本越多，具體運行時間在2.4節(jié)進行詳細討論。

表1 光譜特征和空間特征提取與融合模塊卷積核詳細參數(shù)

1.2 卷積塊注意力機制細化特征提取

為實現(xiàn)對深度特征的細化，Woo等[13]通過計算通道注意力和空間注意力為深度特征分配不同的權重，提出卷積塊注意力機制，并在普通圖像分類中獲得滿意的效果。受此啟發(fā)，本文將卷積塊注意力遷移至高光譜圖像分類任務中，設計光譜注意力和空間注意力2個級聯(lián)的子模塊，其計算方法為：

F′ =Mc(F)?F

(2)

F″ =Ms(F′)?F′

(3)

式中：F為高光譜圖像特征提取和融合后的空譜聯(lián)合特征；Mc(·)和Ms(·)分別為光譜注意力子模塊和空間注意力子模塊；?代表乘法運算；F″為經(jīng)過卷積塊注意力機制重新分配權重細化后的空譜聯(lián)合特征。

1.2.1光譜注意力子模塊

光譜注意力子模塊是CBAM中通道注意力子模塊的改進版本，將對普通圖像的通道處理方法遷移到高光譜圖像的光譜維，通過關注不同光譜維間的相互關系，生成不同維度的光譜特征權重，其結構如圖4所示。

圖4 光譜注意力子模塊結構

Mc(F) =σ(MLP (AvgPool (F))+

MLP (MaxPool (F)))=

(4)

式中：σ表示Sigmod激活函數(shù)；W0∈RC/r×C和W1∈RC×C/r分別表示多層感知機中第1個隱含層和第2個隱含層的權重；r表示特征壓縮率。

1.2.2空間注意力子模塊

空間注意力子模塊關注高光譜圖像中相鄰像素的空間位置關系，生成與空間特征相關的不同權重，模塊結構如圖5所示。光譜特征F′作為該模塊的輸入，在光譜維度依次經(jīng)過最大池化和平均池化進行維度壓縮，之后依次經(jīng)過卷積操作和激活函數(shù)得到重新分配的權重Ms∈RW×H×1，即Ms(F′)(其中s表示對高光譜圖像空間維進行注意力處理后的結果)。空間注意力計算公式為：

Ms(F)=σ(f7×7([AvgPool (F); MaxPool (F)]))=

(5)

式中：σ表示激活函數(shù)；f7×7表示大小為7×7的卷積操作。

圖5 空間注意力子模塊結構

1.3 全卷積殘差網(wǎng)絡結合Softmax分類器。

在高光譜圖像分類網(wǎng)絡模型MS3D-CNN-A中，空譜聯(lián)合特征經(jīng)過卷積塊注意力細化后，輸入到殘差連接塊、預分類卷積塊和Softmax分類器，具體如圖6所示。若將2個卷積操作和Relu激活函數(shù)看作某個函數(shù)F，則殘差結構的計算公式為：

xm=F(xm-1)+xm-1

(6)

式中：xm-1和xm分別為殘差塊的輸入和輸出，當F(xm-1)=0時，xm=xm-1被稱為恒等映射。之后是通道數(shù)與地物種類數(shù)N一致的預分類卷積，輸出W×H×N的局部特征圖。在預分類卷積后，為防止過擬合，加入Dropout操作隨機丟棄部分神經(jīng)元，最后通過Softmax分類器完成對高光譜圖像的分類。

圖6 全卷積殘差網(wǎng)絡分類模塊結構

2 實驗結果分析

為驗證MS3D-CNN-A高光譜圖像分類方法的有效性，在常用高光譜遙感數(shù)據(jù)集上進行地物分類實驗，使用總體精度(overall accuracy，OA)、平均精度(average accuracy，AA)和Kappa系數(shù)(Kappa coefficient)3種性能指標評估不同高光譜圖像分類算法的性能。

2.1 數(shù)據(jù)集

實驗采用3種經(jīng)典的高光譜圖像測試本文方法的分類性能，即印第安松樹(indian pines，IP)、帕維亞大學(pavia university，PU)和薩利納斯谷(salinas valley，SV)。3種偽彩色高光譜圖像如圖7所示。

圖7 實驗采用的高光譜圖像

印第安松樹圖像：由機載可見光紅外成像光譜儀(AVIRIS)于1992年在美國印第安納州一塊印度松樹進行成像得到。該數(shù)據(jù)集包含16個地物覆蓋種類，共有145×145個像素。光譜帶的波長范圍為0.4～2.5 μm，通過去噪處理去除20條噪聲帶，剩下的200個光譜帶作為研究的對象。

薩利納斯谷圖像：利用AVIRIS傳感器在美國加利福尼亞州薩利納斯谷掃描采集得到。該圖像包含16個地物種類，共有512×217個像素，空間分辨率為3.7 m/像素。光譜帶的波長范圍為0.4～2.5 μm，經(jīng)過去噪處理去除20條光譜帶，其余204條光譜帶用于實驗分析。

帕維亞大學圖像：采用反射式光學成像光譜儀(ROSIS-3)掃描意大利帕維亞大學場景得到。該數(shù)據(jù)集包含9個地物種類，共有610×340個像素，空間分辨率為1.3 m/像素。光譜帶的波長范圍為0.43～0.86 μm，通過去噪處理去除12條噪聲帶，剩下的103個光譜帶用于分析高光譜圖像分類算法的性能。

2.2 實驗環(huán)境

為保證實驗公平性，所有方法均不對訓練集做任何預處理，且都在同一臺圖形工作站上實現(xiàn)。該工作站配置了32 GB內存和NVIDIA GeForce GTX3090 Ti 的GPU，詳細配置參數(shù)如表2所示。

表2 實驗環(huán)境配置參數(shù)

2.3 參數(shù)設置

高光譜圖像輸入樣本的空間尺寸對分類結果有較大影響。為確定網(wǎng)絡輸入樣本的尺寸，根據(jù)地物覆蓋的稀疏程度，選取帕維亞大學和薩利納斯谷圖像進行實驗，將輸入樣本大小設置為5×5、7×7、9×9、11×11和13×13，以5%樣本作為訓練集，5%驗證集，90%測試集，根據(jù)分類結果確定該參數(shù)的最佳取值。從表3可以看出，隨著網(wǎng)絡輸入尺寸的增加，訓練樣本包含的空間信息逐漸增多，總體精度、平均精度和Kappa系數(shù)均有所增加。然而，當輸入尺寸大于9×9時，訓練樣本包含過度復雜的空間信息，為特征提取和分類任務帶來干擾，3個指標開始下降。因此，本文高光譜圖像分類網(wǎng)絡模型的輸入及輸出尺寸均設置為 9×9。

表3 輸入樣本尺寸對分類精度的影響 %

在本文實驗中，所有方法的輸入樣本尺寸均設置為9，學習率為0.001，Dropout正則化參數(shù)為0.5，對每個方法進行100次迭代訓練。為減少訓練開支，采用早期停止策略(early stopping strategy)，即如果驗證集的分類精度在20次迭代后仍然保持不變，則訓練過程將自動終止。

2.4 實驗分析與討論

為分析本文高光譜圖像分類方法MS3D-CNN-A的性能，與經(jīng)典的RBF-SVM[18]、Li’CNN[19]、M3D-DCNN[20]和DBDA[12]方法進行對比實驗。此外，將本文方法MS3D-CNN-A與去除注意力機制的版本MS3D-CNN進行對比實驗以驗證注意力機制的有效性。在IP、PU和SV 3個高光譜數(shù)據(jù)集進行實驗，每組實驗隨機抽取5%、10%和15%樣本作為訓練集和驗證集，其余作為測試集，每組實驗重復10次，取平均值統(tǒng)計總體精度OA、平均精度AA和Kappa系數(shù)。對比實驗分類結果如表4—6所示。

為驗證本文方法在有限樣本高光譜圖像上的分類性能，首先利用IP數(shù)據(jù)集進行分類實驗，結果如表4所示。

表4 不同方法在IP數(shù)據(jù)集上取5%、10%和15%訓練樣本分類性能

由于RBF-SVM僅利用淺層特征，導致分類性能不佳。Li’CNN和M3D-DCNN方法提取深度特征和多尺度特征，分類性能顯著提升，但是由于訓練樣本不足和特征權重均勻，導致分類精度仍有待提高。從MS3D-CNN網(wǎng)絡分類結果看，光譜注意力和空間注意力模塊細化空譜特征作用明顯。與雙分支注意力網(wǎng)絡DBDA相比較，本文方法MS3D-CNN-A在5%訓練樣本下的OA、AA和Kappa系數(shù)分別提升0.60、2.12和0.60個百分點；在10%和15%訓練樣本下，3個評價指標亦均有明顯提升。整體來看，雖然IP高光譜數(shù)據(jù)集訓練樣本少，地物種類復雜，但是本文方法通過卷積塊注意力機制對提取的空譜特征進行細化篩選，過濾與分類任務不相關的空譜特征，仍然取得了較高的分類精度，在不同訓練樣本下的平均OA達到89.70%。對IP數(shù)據(jù)集5%訓練樣本的分類結果進行可視化，通過比較不同方法分類結果與Ground truth之間的差異，可以看出本文方法的分類結果最接近真值標簽，如圖8所示。

第2組實驗采用包含相同地物種類數(shù)量、空間分辨率更高的SV高光譜數(shù)據(jù)集，分類結果如表5所示。本文方法融合空譜特征，空間信息豐富，與同樣采用空譜特征的M3D-DCNN方法相比，在5%訓練樣本下OA、AA和Kappa系數(shù)分別提升5.31、1.94和5.13個百分點。與去除注意力機制的MS3D-CNN方法相比，在5%訓練樣本下，3個評價指標分別提升3.95、3.00和4.33個百分點；在10%和15%訓練樣本下，各指標亦有較大幅度提升。與雙分支注意力網(wǎng)絡DBDA相比，在5%訓練樣本下均獲得不低的評價指標；在更多訓練樣本下，各指標獲得最高值。與IP數(shù)據(jù)集相比，SV高光譜數(shù)據(jù)集包含更多的訓練樣本，本文方法利用融合后的空譜特征取得更高的分類精度，不同訓練樣本下的平均OA達到97.63%。對SV數(shù)據(jù)集5%訓練樣本的分類結果進行可視化，通過比較每種方法分類結果與Ground truth之間的差異，可以看出，卷積塊注意力機制有助于提升高光譜圖像分類性能，如圖9所示。

圖8 不同方法在IP圖像上取5%訓練樣本分類效果

表5 不同方法在SV數(shù)據(jù)集上取5%、10%和15%訓練樣本分類性能

圖9 不同方法在SV圖像上取5%訓練樣本分類效果

最后，在光譜分辨率較低、空間分辨率更高的高光譜數(shù)據(jù)集PU上進行分類實驗，結果如表6所示?？梢钥闯?，本文MS3D-CNN-A方法在5%、10%和15%訓練樣本下，3個評價指標OA、AA和Kappa系數(shù)均取得最高值。與前面2個高光譜數(shù)據(jù)集IP和SV相比，本文方法通過多尺度3D卷積和融合后的空譜特征得到最好的分類結果，在不同訓練樣本下的平均OA達到98.61%。對5%樣本作為訓練集的分類結果進行可視化，每種方法的分類結果與Ground truth進行對比，可以看出本文方法的分類結果最接近真值標簽，如圖10所示。

表6 不同方法在PU數(shù)據(jù)集上取5%、10%和15%訓練樣本分類性能

圖10 不同方法在PU圖像上取5%訓練樣本分類效果

為分析算法的時間性能，選取光譜維數(shù)不同的PU和SV兩幅高光譜圖像的5%作為訓練樣本進行實驗，不同數(shù)據(jù)集的訓練時間和測試時間如表7所示?？梢钥闯?，本文方法MS3D-CNN-A的訓練時間和測試時間略低于多尺度卷積網(wǎng)絡M3D-DCNN，主要是因為本文方法比M3D-DCNN網(wǎng)絡使用了更少的三維卷積操作，縮減了網(wǎng)絡的運行時間。由于RBF-SVM和Li’CNN算法模型和網(wǎng)絡結構相對簡單，訓練速度較快，運行時間明顯低于本文方法和M3D-DCNN網(wǎng)絡。而DBDA方法利用DenseNet豐富的訓練參數(shù)，收斂速度更快，其訓練時間和測試時間低于本文方法。總之，本文方法在犧牲少量運行時間的情況下顯著提高了高光譜圖像的分類精度。

表7 不同方法在PU和SV高光譜數(shù)據(jù)集的訓練時間和測試時間 s

參數(shù)量(Params)和每秒浮點運算次數(shù)(FLOPs)是評估深度學習網(wǎng)絡復雜度的2個重要指標。為分析本文方法及光譜注意力子模塊(S)和空間注意力子模塊(P)的網(wǎng)絡復雜度及對分類精度的影響，選取帕維亞大學數(shù)據(jù)集的5%作為訓練集進行分類實驗，結果如表8所示，其中，MS3D-CNN為本文方法去除S模塊和P模塊后的網(wǎng)絡模型，S(AvgPool)和S(MaxPool)分別表示只含有全局平均池化和全局最大池化的光譜注意力子模塊。

表8 本文網(wǎng)絡模型含不同組成模塊時參數(shù)量、FLOPs和OA

可以看出，與MS3D-CNN相比，雖然S和P 2個模塊的每秒浮點運算次數(shù)有所升高，但是升幅在0.03左右，而S(AvgPool)和S(MaxPool)2個模塊升幅不超過0.02，這表明全局平均池化和全局最大池化對模型運算復雜度的影響幾乎可以忽略。從參數(shù)量角度看，S模塊需要20 K的參數(shù)量，P模塊需要的參數(shù)量更少。S(AvgPool)和S(MaxPool)2個模塊僅需要10 K 的參數(shù)量，而模型總體參數(shù)量在10 M以上，前者占比不足千分之一，故全局平均池化和全局最大池化對模型空間復雜度的影響非常小。從分類精度看，S模塊和P模塊不同程度地增加了MS3D-CNN方法的分類精度。在光譜注意力子模塊S中，全局平均池化較全局最大池化對分類精度的提高效果更加明顯?？傮w來說，全局平均池化和全局最大池化對本文方法運算復雜度和空間復雜度的影響幾乎可以忽略，但是對高光譜圖像分類精度的提升作用明顯。

3 結論

在高光譜圖像分類中，針對標記樣本少、空間信息利用不足以及特征區(qū)分度不夠明顯等問題，提出一種新型融合卷積塊注意力機制的多尺度MS3D-CNN-A網(wǎng)絡模型。在IP、PU和SV 3個高光譜數(shù)據(jù)集上的實驗表明，相比于傳統(tǒng)高光譜圖像分類方法和多尺度三維卷積網(wǎng)絡，本文方法在犧牲少量運行時間的情況下，總體精度、平均精度和Kappa系數(shù)3項評估指標表現(xiàn)最好，分類效果提升明顯。在未來的工作中，將嘗試針對少樣本問題進一步優(yōu)化網(wǎng)絡結構，降低網(wǎng)絡運算成本，在樣本更加受限的情況下提高網(wǎng)絡的分類性能。