郭南南

（山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，山東青島 266590）

0 引言

高光譜圖像（Hyperspectral Image，HSI）包含豐富的空間信息與反映地物各種特征的光譜信息，因此高光譜圖像被廣泛用于地質(zhì)勘探［1］、目標(biāo)檢測(cè)［2］和景觀分類(lèi)［3］。高光譜圖像分類(lèi)旨在根據(jù)每個(gè)像素空間光譜信息自動(dòng)為其分配特定的語(yǔ)義標(biāo)簽，這是遙感圖像處理中的重要課題［4］。盡管大量波段提供了地物詳細(xì)的空間特征，但是波段之間，尤其是相鄰波段之間通常存在緊密的相關(guān)性將導(dǎo)致信息冗余［5］。因此，本文針對(duì)該問(wèn)題，提出一種新的降維算法用于高光譜數(shù)據(jù)的預(yù)處理。

深度學(xué)習(xí)（Deep Learning，DL）［6］方法可自動(dòng)學(xué)習(xí)圖像中的深層特征與高度抽象的語(yǔ)義特征，已被廣泛應(yīng)用于HSI 分類(lèi)?；谏疃葘W(xué)習(xí)的分類(lèi)方法大體可分為基于光譜信息的分類(lèi)方法與基于光譜空間信息的分類(lèi)方法?；诠庾V信息的分類(lèi)方法僅提取HSI 光譜特征，通常包括基于深度信念網(wǎng)絡(luò)（DBN）［7］的方法、基于自動(dòng)編碼器（SAE）［8］的方法與基于1D-CNN［9］等，這些方法往往使用一維特征向量作為輸入，忽略了HSI 空間結(jié)構(gòu)信息。文獻(xiàn)［10］將五層CNN 應(yīng)用于HSI 分類(lèi)，并提出1D-CNN 網(wǎng)絡(luò)以提取頻譜特征?；谏疃葘W(xué)習(xí)使用光譜空間特征的分類(lèi)方法比單獨(dú)使用光譜特征的方法獲得的結(jié)果更好，例如ResNet［11］、3D-CNN［12］和DenseNet［13］、全卷積神經(jīng)網(wǎng)絡(luò)（FCN）［14］等；文獻(xiàn)［14］提出一種基于FCN 的高光譜分類(lèi)深度學(xué)習(xí)框架，使用反卷積網(wǎng)絡(luò)增強(qiáng)高光譜特征，提高分類(lèi)精度；文獻(xiàn)［15］提出混合3D-CNN 與2D-CNN 的網(wǎng)絡(luò)，但是網(wǎng)絡(luò)包含大量訓(xùn)練參數(shù)，計(jì)算復(fù)雜。

現(xiàn)有網(wǎng)絡(luò)模型通常需大量樣本進(jìn)行訓(xùn)練，同時(shí)訓(xùn)練參數(shù)較多，需仔細(xì)調(diào)整超參數(shù)以避免過(guò)度擬合。因此，本文設(shè)計(jì)一個(gè)用于高光譜圖像分類(lèi)的輕量級(jí)空間注意力網(wǎng)絡(luò)（LSANet），在保證高分類(lèi)精度的同時(shí)可減少參數(shù)數(shù)量與計(jì)算時(shí)間。LSANet中的空間卷積塊具有輕量且高效的特征提取性能，可以捕獲具有判別性的光譜空間特征。為優(yōu)化特征提取識(shí)別能力，采用注意力機(jī)制細(xì)化特征圖，增強(qiáng)網(wǎng)絡(luò)空間特征表示能力，可提高有限樣本分類(lèi)性能。

1 原理與方法

本文提出一種輕量級(jí)空間注意力網(wǎng)絡(luò)（LSANet）高光譜圖像分類(lèi)框架，相關(guān)流程如圖1 所示。它由3 部分組成：降維、特征提取與分類(lèi)。首先，利用分割核主成分分析（Segmentation Kernel Principal Component Analysis，SKPCA）對(duì)原始高光譜圖像進(jìn)行降維并獲得有益于分類(lèi)的光譜空間特征；然后，通過(guò)光譜空間卷積塊（Spectral Space Convolution，SSC-block）對(duì)降維后的高光譜圖像進(jìn)行特征提取；最后，引入循環(huán)交叉注意力機(jī)制（Recurrent Criss-Cross Attention，RCC）抑制不重要的特征，增強(qiáng)可判別的特征。將輸出的特征圖進(jìn)行全局平均池化，然后饋入全連接（Full Conection，F(xiàn)C）層，并使用Softmax 激活函數(shù)進(jìn)一步預(yù)測(cè)樣本類(lèi)別。

Fig.1 Scheme of the proposed classification method based on LSANet圖1 輕量級(jí)空間注意力網(wǎng)絡(luò)的高光譜圖像分類(lèi)方法

1.1 分割核主成分分析

考慮到高光譜圖像的相鄰波段通常具有很強(qiáng)的相關(guān)性并包含冗余信息。因此，設(shè)計(jì)SKPCA 對(duì)高光譜圖像進(jìn)行降維。首先，將高光譜圖像X的波段劃分為K個(gè)相鄰波段子集。第k（k∈{1,2,…,K}）個(gè)子集Sk為：

X={X1,…,XM}表示包含M 個(gè)波段。核主成分分析（Kernel Principal Component Analysis，KPCA）［16］在提高像素光譜可分性和降低光譜維數(shù)方面是一種非常有效的算法。因此，將KPCA 應(yīng)用于每個(gè)相鄰子集，如式（2）所示。

n表示主成分?jǐn)?shù)目。然后，將不同波段子集的核主成分進(jìn)行堆疊，如式（3）所示。

Yi表示降維后高光譜數(shù)據(jù)。對(duì)相鄰波段的每個(gè)子集而不是原始高光譜數(shù)據(jù)執(zhí)行KPCA，可保留有關(guān)光譜差異中更重要的光譜信息。

1.2 光譜空間卷積塊

具有大量訓(xùn)練參數(shù)的網(wǎng)絡(luò)可能容易過(guò)度擬合。為了解決該問(wèn)題，設(shè)計(jì)輕量級(jí)光譜空間卷積塊（SSC-block），其靈感來(lái)自ShuffleNetV2［17］中的結(jié)構(gòu)。該卷積塊詳細(xì)信息如圖2 所示。在SSC-Block 中，先將輸入特征圖在通道維度分左右兩個(gè)分支，右分支使用空洞率為3 和6 的空洞卷積［18］，卷積核大小1×1（簡(jiǎn)稱(chēng)AConv），在空間中分別接收簡(jiǎn)單的短距離特征和復(fù)雜的遠(yuǎn)距離空間信息特征，同時(shí)使用卷積核大小為3×3 的深度可分離卷積［19］（簡(jiǎn)稱(chēng)DWConv）減少參數(shù)和計(jì)算量。在每個(gè)卷積層上引入批處理歸一化（BN）［20］和ReLU 激活，使網(wǎng)絡(luò)收斂規(guī)范化，提高訓(xùn)練效率，改善了網(wǎng)絡(luò)過(guò)擬合現(xiàn)象。兩個(gè)分支用concat操作進(jìn)行合并，再經(jīng)通道混洗操作從而實(shí)現(xiàn)更輕便、高效的光譜空間特征提取。在深度學(xué)習(xí)中，淺層網(wǎng)絡(luò)可能無(wú)法顯著提高網(wǎng)絡(luò)分類(lèi)效果，深層網(wǎng)絡(luò)可以更好地學(xué)習(xí)判別性特征，提高分類(lèi)精度，因此在網(wǎng)絡(luò)中依次使用3 個(gè)SSC-block。

1.3 空間注意力機(jī)制（SAM）

為了使用輕量級(jí)計(jì)算和內(nèi)存并加強(qiáng)空間特征，在網(wǎng)絡(luò)中引入交叉注意機(jī)制（CCA）［21］對(duì)特征圖依賴(lài)進(jìn)行建模，主要通過(guò)計(jì)算目標(biāo)特征像素點(diǎn)與特征圖中其它所有點(diǎn)之間的相互關(guān)系，并利用其對(duì)目標(biāo)像素點(diǎn)特征進(jìn)行加權(quán)，以獲得更加有效的目標(biāo)特征。在交叉注意力機(jī)制中，在給定的局部特征映射H∈RC×W×H上使用兩個(gè)1×1 卷積，分別生成兩個(gè)特征圖Q和K，其中{Q,K}∈RC'×W×H，C為通道數(shù)。在特征映射Q和K上使用密集操作，生成注意映射A∈R(H+W-H)×W×H。親和操作定義為：

其中，di,u∈D是特征圖Qu與Ωi,u，i=[1,…,|Ωu|]的相關(guān)性程度，D∈R(H+W-H)×W×H；Qu表示第u個(gè)位置特征映射；Ωu是從與位置u在同行或同列的特征圖中提取特征向量的集合。在D 上使用Softmax 獲得注意映射A。在特征圖H 上使用1×1 的卷積，生成生成特征映射V∈RC×W×H。然后，通過(guò)聚合操作收集上下文信息。

Fig.2 Spectral-spatial convolution block圖2 光譜空間卷積塊

2 實(shí)驗(yàn)與討論

2.1 實(shí)驗(yàn)數(shù)據(jù)

Indian Pines 圖像中地物分布更加密集，并且一個(gè)圖像塊可能包含更多的地物類(lèi)型。因此實(shí)驗(yàn)使用高光譜遙感數(shù)據(jù)集Indian Pines。

Indian Pines 數(shù)據(jù)集中圖像空間分辨率為20m，在高光譜圖像分類(lèi)之前去除20 個(gè)失真波段，剩余200 個(gè)波段，光譜范圍為400～2 500nm，大小為145×145 個(gè)像素，共包含16種地物。Indian Pines 假彩色圖、地面真值圖和類(lèi)別圖如圖3（彩圖掃OSID 碼可見(jiàn)）所示。

2.2 參數(shù)設(shè)置

本文方法利用基于Python 語(yǔ)言的Keras 和TensorFlow深度學(xué)習(xí)框架實(shí)現(xiàn)。實(shí)驗(yàn)以隨機(jī)選取的訓(xùn)練和測(cè)試樣本重復(fù)20 次結(jié)果的均值作為精度，使用小批量隨機(jī)梯度下降算法優(yōu)化網(wǎng)絡(luò)。損失函數(shù)使用交叉熵?fù)p失，在實(shí)驗(yàn)中將學(xué)習(xí)率設(shè)為0.001，批次大小設(shè)置為64。實(shí)驗(yàn)中每個(gè)類(lèi)別隨機(jī)選取總樣本數(shù)的10%作為訓(xùn)練樣本，剩余樣本用作測(cè)試集。本文采用3 個(gè)廣泛使用的定量指標(biāo)評(píng)估HSI 分類(lèi)性能，即總體準(zhǔn)確度（OA）、平均精度（AA）和Kappa 系數(shù)。

Fig.3 Indian Pines data set圖3 Indian Pines 數(shù)據(jù)集

2.3 實(shí)驗(yàn)結(jié)果與分析

為了有效驗(yàn)證本文提出的高光譜分類(lèi)方法，將LSANet與當(dāng)前最流行的深度學(xué)習(xí)網(wǎng)絡(luò)分類(lèi)方法和傳統(tǒng)機(jī)器學(xué)習(xí)分類(lèi)方法進(jìn)行對(duì)比，包括SVM［22］方法、1D-CNN 方法、SAE方法、FCNN 方法、3D-CNN 方法。在使用SVM 方法進(jìn)行高光譜圖像分類(lèi)時(shí)，本文使用徑向基核函數(shù)。圖4 展示了不同方法視覺(jué)分類(lèi)效果。如圖4 所示，由于僅利用光譜信息，因此SVM 和1D-CNN 顯示出“椒鹽現(xiàn)象”，不能取得令人滿(mǎn)意的分類(lèi)性能；SAE 和FCNN 方法可以在分類(lèi)結(jié)果中表現(xiàn)出較好的視覺(jué)效果，但導(dǎo)致建筑物附近某些區(qū)域被錯(cuò)誤分類(lèi)；由于忽略了豐富的結(jié)構(gòu)信息，F(xiàn)CNN 也呈現(xiàn)出嘈雜的分類(lèi)結(jié)果；相比之下，本文LSANet 方法不僅可以在邊界區(qū)域?qū)崿F(xiàn)更為精確的分類(lèi)，而且分類(lèi)圖包含較少的噪聲。訓(xùn)練和測(cè)試樣本數(shù)量及不同方法分類(lèi)精度如表1 所示，可以看出，就OA、AA 和Kappa 系數(shù)而言，本文LSANet 方法優(yōu)于其他比較方法。

Fig.4 Indian Pines image classification results obtained by different methods圖4 不同方法的Indian Pines 圖像分類(lèi)結(jié)果

Table 1 Classification accuracies（Indian Pines）of difference method表1 IndianP 圖像的不同方法上各類(lèi)別精度

3 結(jié)語(yǔ)

本文提出了一種新穎的輕量級(jí)空間注意力網(wǎng)絡(luò)（LSANet），可用于高光譜圖像分類(lèi)。網(wǎng)絡(luò)中光譜空間卷積塊可捕獲更豐富的光譜空間特征。循環(huán)交叉注意力機(jī)制增強(qiáng)了有效的空間特征，使網(wǎng)絡(luò)更注意地物結(jié)構(gòu)和邊緣，提高了分類(lèi)性能。在高光譜數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果證明該方法有效。但是，該方法的缺點(diǎn)是注意力機(jī)制僅考慮像素級(jí)別特征，忽略了通道方向特征，這是為構(gòu)建更有效的光譜空間注意力機(jī)制需解決的問(wèn)題。