楊星，池越，周亞同，王楊

河北工業(yè)大學(xué) 電子與信息工程學(xué)院,天津 300401

1 引言

隨著遙感技術(shù)的快速發(fā)展，高光譜成像技術(shù)圖像同時(shí)具有豐富光譜信息和詳細(xì)的空間結(jié)構(gòu)，高光譜圖像每個(gè)像素包含數(shù)百個(gè)連續(xù)光譜帶，其波長(zhǎng)范圍跨越可見(jiàn)光和紅外波段。相較于其他遙感圖像，高光譜圖像HSI（Hyper Spectral Image）由于其豐富的信息量，對(duì)于目標(biāo)物理、化學(xué)等特性有更好的表征能力（Li 等，2016），高光譜圖像被廣泛應(yīng)用于環(huán)境管理（Chen 等，2019）、農(nóng)業(yè)和資源管理（Murphy等，2018）、城市開(kāi)發(fā)（Ghamisi等，2015）、海洋觀測(cè)（曹引 等，2019）、軍事（Shimoni 等，2019）等多種領(lǐng)域。高光譜圖像分類HSIC（Hyper Spectral Image Classification）是HSI 處理與應(yīng)用中最為基礎(chǔ)也是最為重要的一環(huán)，為遙感數(shù)據(jù)的后續(xù)研究提供了科學(xué)依據(jù)。HSIC 的目的是將HSI 中每一個(gè)像素分類到給定的地物類別中，如植被和農(nóng)作物。

在HSIC 研究早期，由于HSI 光譜反射曲線良好的判別性，不同地物類別的光譜曲線不相同。研究者將傳統(tǒng)機(jī)器學(xué)習(xí)方法加以改進(jìn)并用于HSIC，包括支持向量機(jī)SVM（Support Vector Machine）（Melgani 和Bruzzone，2004）、K 均值聚類（Ma 等，2010）、隨機(jī)森林（Ham 等，2005）、極限學(xué)習(xí)機(jī)（Zhou 等，2015）等。這些傳統(tǒng)方法利用光譜曲線構(gòu)造特征提取模型，提取判別性特征。然而不同波段之間具有較強(qiáng)的相關(guān)性且存在大量的冗余信息，過(guò)高的光譜分辨率所帶來(lái)的更多計(jì)算量，都可能導(dǎo)致維數(shù)災(zāi)難，使得這些傳統(tǒng)方法存在一些局限性。為了避免維數(shù)災(zāi)難，常采用特征選擇和特征提取兩個(gè)方法對(duì)光譜波段進(jìn)行降維。特征選擇是選擇一部分對(duì)結(jié)果更有效的光譜波段。Sun 和Du（2018，2019）提出了一些波段選擇方法來(lái)減少波段之間的冗余。然而，對(duì)于不同類別的像素，每個(gè)光譜波段有不同的貢獻(xiàn)，每個(gè)類都有它的最優(yōu)分類光譜波段子集，而這些子集對(duì)不同的類可能是不相同的。例如波段1，6，10，…，對(duì)類別1是有用的，而波段2，7，9，…，對(duì)類別2 是有用的。特征提取是通過(guò)線性或者非線性變換將這些光譜波段結(jié)合在一起。主成分分析（PCA）（Rodarmel 和Shan，2002）、獨(dú)立成分分析（ICA）（Wang 和Chang，2006）和Fisher線性判別分析（LDA）（Luo 等，2015）等是最常用的幾種降維方法。主成分分析的方法是提取出前k個(gè)主成分作為光譜特征。但參數(shù)k需要通過(guò)專家經(jīng)驗(yàn)手動(dòng)設(shè)置，合適的k會(huì)將所有有用的特征保存，不合適的參數(shù)可能會(huì)丟失一些有用信息或者保留較多的冗余信息。傳統(tǒng)的特征提取方法的缺點(diǎn)是需要手工制作特征，依賴于設(shè)計(jì)者或領(lǐng)域?qū)＜业南闰?yàn)信息，對(duì)于不同的數(shù)據(jù)集適應(yīng)和泛化能力較差，無(wú)法處理復(fù)雜和新的情況。

由于深度學(xué)習(xí)可以提取更高層次和更抽象的特征，研究者們開(kāi)始研究如何利用深度學(xué)習(xí)解決HSIC。這些方法包括堆疊自編碼器SAEs（Stacked Autoencoders）（Deng 等，2019；Mei 等，2019a）、深度信念網(wǎng)絡(luò)DBNs（Deep Belief Networks）（Chen等，2015）、卷積神經(jīng)網(wǎng)絡(luò)CNNs（Convolution Neural Networks）（Zhong等，2018；Wang等，2018；Mei等，2019b）、循環(huán)神經(jīng)網(wǎng)絡(luò)RNNs（Recurrent Neural Networks）（Zhang 等，2018；Mou 等，2017）和生成對(duì)抗網(wǎng)絡(luò)GAN（Generative Adversarial Networks）（Zhu等，2018）。Chen等（2014）等首次使用多層SAE為HSI提取深度特征，在深度網(wǎng)絡(luò)最后一層加入logistic 回歸分類器，利用標(biāo)記樣本對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)。Li（2015）等使用單一限制玻爾茲曼機(jī)和多層DBN 為HSI 提取頻譜空間特征。基于SAE和DBN 的方法主要問(wèn)題是將圖像平展成向量，無(wú)法在空間特征提取階段考慮空間信息。而CNN 可以很好的緩解上述問(wèn)題，因此將CNN 引入HSIC。Zhang 等（2018）等提出一種光譜—空間殘差網(wǎng)絡(luò)（SSRN），該網(wǎng)絡(luò)使用光譜和空間殘差塊，從HSI學(xué)習(xí)深度判別特征。然而其使用原始HSI三維塊作為輸入，不加任何處理，導(dǎo)致計(jì)算量巨大，迭代速度較慢。而其他一些CNN 的方法則是使用降維之后的三維塊，丟失一部分光譜信息。同時(shí)這些CNN 對(duì)每個(gè)像素和光譜進(jìn)行相同的處理，而由于混合像素問(wèn)題和冗余波段問(wèn)題，使得這樣的處理方法同樣具有局限性。

由于注意力機(jī)制可以自適應(yīng)的抑制或者增強(qiáng)輸入信息，已經(jīng)廣泛應(yīng)用于圖像處理（Vaswani 等，2017），很多學(xué)者都嘗試在HSIC中結(jié)合注意力機(jī)制來(lái)關(guān)注更為重要的特征。Li（2020）等設(shè)計(jì)DBDA（Double-Branch Dual-Attention Mechanism）兩個(gè)分支，以通過(guò)不同注意力結(jié)構(gòu)提取HSI中大量光譜和空間特征，然而其復(fù)雜的結(jié)構(gòu)導(dǎo)致需要更多的訓(xùn)練時(shí)間。Roy 等（2020）結(jié)合SENet（Squeeze and Excitation Network）和殘差網(wǎng)絡(luò)（ResNet）提出FuSENet（Fused Squeeze-and-Excitation Network），其通過(guò)SENet壓縮和激發(fā)得到通道的權(quán)重值，提取出每個(gè)特征圖的重要性。Das 等（2020）設(shè)計(jì)一個(gè)Multi-Receptive Lightweight Residual 模塊（GhoMR），并提出GhoMR-Net。GhoMR 模塊通殘差結(jié)構(gòu)提取特征，多接受域提取其權(quán)重，以分層的方式提取更為重要的特征。這些注意力機(jī)制多關(guān)注于光譜或空間信息，不能很好地體現(xiàn)HSI 光譜合一的特點(diǎn)。

雖然已經(jīng)有許多基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類模型被提出，但仍然存在一些問(wèn)題。

（1）如何自適應(yīng)的強(qiáng)調(diào)對(duì)分類有效的光譜信息和空間信息；

（2）如何充分提取HSI不同層次的特征，并且從不同層次特征中提取出判別性特征；

（3）如何設(shè)計(jì)一個(gè)端到端的網(wǎng)絡(luò)，在保證分類精度的同時(shí)，有效加快網(wǎng)絡(luò)訓(xùn)練速度。

針對(duì)這些問(wèn)題，我們借鑒注意力機(jī)制，提出一種用于HSIC 的端到端的空間光譜注意力雙邊網(wǎng)絡(luò)SSABN（Spectral-Spatial Attention Bilateral Network）。通過(guò)光譜注意力模塊自適應(yīng)的學(xué)習(xí)不同原始輸入數(shù)據(jù)中每個(gè)光譜波段的權(quán)值，將特征選擇隱式的應(yīng)用于光譜向量上。在空間特征方面，由于與中心像素相同類別的周圍像素對(duì)分類貢獻(xiàn)大，不同類別的周圍像素貢獻(xiàn)小，空間注意力模塊將根據(jù)像素對(duì)中心像素分類的貢獻(xiàn)，自適應(yīng)的學(xué)習(xí)其重要性，提高相同類別的周圍像素權(quán)重，削弱不同類別的周圍像素權(quán)重。雙邊網(wǎng)絡(luò)通過(guò)不同的卷積結(jié)構(gòu)，提取不同層次的特征，通過(guò)特征融合模塊將不同層次特征融合得到判別性的特征。

2 光譜空間注意力雙邊網(wǎng)絡(luò)

本文提出一種光譜空間注意力雙邊網(wǎng)絡(luò)模型用于高光譜圖像分類。本節(jié)首先介紹提出的高光譜圖像分類模型。其次介紹所提出雙邊網(wǎng)絡(luò)中的特征融合模塊，并詳細(xì)說(shuō)明了光譜空間注意力模塊。最后給出了該模型的損失函數(shù)及其優(yōu)化方法。

2.1 提出模型概述

設(shè)高光譜數(shù)據(jù)集H∈Rh×w×d，其中空間維度的高度和寬度用h，w表示，光譜帶的數(shù)量用d表示。假設(shè)數(shù)據(jù)集H包含N個(gè)標(biāo)記像素U={u1，u2，…，un}∈R1×1×d，每個(gè)標(biāo)記像素由d個(gè)光譜波段構(gòu)成，其對(duì)應(yīng)的獨(dú)熱編碼標(biāo)簽向量為V={v1，v2，…，vn}∈R1×1×k，其中k是類別數(shù)。為了充分利用數(shù)據(jù)中的原始信息，以標(biāo)記像素U為中心的相鄰立方體組成一組新的三維塊W={w1，w1，…，wn}。在本文中，我們將每個(gè)W中的wi輸入到所提出的模型中，對(duì)其中心對(duì)應(yīng)像素ui進(jìn)行分類。

對(duì)高光譜數(shù)據(jù)標(biāo)記后，首先將所有可用的標(biāo)記數(shù)據(jù)隨機(jī)分為訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集，分別用wtrain、wval、wtest表示，對(duì)應(yīng)的標(biāo)簽集為vtrain、vval、vtest。然后使用wtrain、wval優(yōu)化和測(cè)試模型，通過(guò)交叉驗(yàn)證找到模型的最佳參數(shù)。最后通過(guò)wtest對(duì)所有像素進(jìn)行分類，得到性能評(píng)價(jià)指標(biāo)，形成分類圖。

圖1給出了所提出模型的框架。該模型主要有4個(gè)模塊。其中圖1（A）表示光譜空間注意力模塊用于尋找有效的光譜和空間部分。空間路徑上下文路徑為雙邊網(wǎng)絡(luò)模型兩條不同CNN 路徑，分別由圖1（B）和圖1（C）所示。圖1（D）所示的特征融合模塊用于融合雙邊網(wǎng)絡(luò)不同路徑的輸出特征。

空間路徑共有3層，每層均由二維卷積層、批歸一化和Relu 激活函數(shù)組成。每一層的卷積核大小為，步長(zhǎng)均為2，因此輸出特征圖大小均為輸入特征圖大小的1/2。已有研究表明（Luo等，2017），空間信息和感受野是獲得高精度的關(guān)鍵，該路徑提取的輸出特征圖尺寸為原始圖像的1/8，能編碼豐富的空間信息。

常用的增大感受野的方法，如更大的卷積核、金字塔池化模塊或者空間金字塔池化，這些方法同時(shí)也帶來(lái)大量的計(jì)算量和內(nèi)存消耗，導(dǎo)致較慢的迭代速度。本文中上下文路徑采用一種類似VGG 網(wǎng)絡(luò)結(jié)構(gòu)，將其4倍下采樣和8倍下采樣結(jié)果通過(guò)注意力精煉模塊（圖2）提取特征。注意力精煉模塊通過(guò)全局池化，1×1 卷積，Batch Norm 和Sigmoid 激活函數(shù)，提取通道權(quán)重，可以增強(qiáng)下采樣中更有效的特征。最后，將兩條路徑輸出特征通過(guò)特征融合模塊提取判別性特征，通過(guò)全連接層輸出像素類別。

圖2 注意力精煉模塊Fig.2 Attention refinement module

2.2 光譜空間注意力

光譜空間注意力如圖1（A）所示，分為光譜注意力和空間注意力，目的是強(qiáng)調(diào)有助于最終分類的信息，光譜注意力強(qiáng)調(diào)光譜波段即什么樣的光譜是有意義的，空間注意力則強(qiáng)調(diào)空間信息即在分類像素周圍哪里的特征是有意義的。

光譜注意力模塊輸入是原始高光譜數(shù)據(jù)，大小為w×h×d。使用全局平均池化和最大池化兩種方式提取互補(bǔ)的光譜全局特征，得到兩個(gè)1×1×d的光譜特征，再將提取到的特征通過(guò)同一個(gè)多層感知機(jī)MLP（Multi-Layer Perceptron）提取權(quán)重信息，將得到兩個(gè)特征經(jīng)過(guò)Sigmoid 激活函數(shù)即可得到光譜權(quán)重系數(shù)MSe，大小為1×1×d。通過(guò)權(quán)重系數(shù)對(duì)原始HSI 進(jìn)行加權(quán)即可得到光譜加權(quán)HSI 特征F′。光譜注意力計(jì)算可概括為

式中，HSI 指原始高光譜圖像，σ指Sigmoid 激活函數(shù)，MSe指權(quán)重系數(shù)。

空間注意力模塊輸入是HSI進(jìn)行光譜加權(quán)的結(jié)果，大小為w×h×d。與光譜注意力相似，空間注意力在通道維度分別進(jìn)行全局平均池化和最大池化，并將得到大小為w×h×1 結(jié)果進(jìn)行拼接。然后經(jīng)過(guò)一個(gè)7×7 的卷積層，同樣最后通過(guò)Sigmoid 激活函數(shù)得到空間權(quán)重系數(shù)MSa，空間權(quán)重系數(shù)MSa與光譜加權(quán)特征F′相乘即可得到新特征?？臻g注意力計(jì)算可概括為

式中，F(xiàn)′指原始高光譜圖像光譜加權(quán)的結(jié)果，σ指Sigmoid 激活函數(shù)，f7×7指卷積濾波器大小為7×7的卷積層。

通過(guò)光譜空間注意力模塊，可以將與待分類像素類別相同的更多信息進(jìn)行增強(qiáng)，抑制對(duì)分類無(wú)效的信息，使得最終判別像素正確類別概率提高。

2.3 特征融合模塊

雙邊網(wǎng)絡(luò)不同路徑由于結(jié)構(gòu)不同，產(chǎn)生不同層次上特征，空間路徑由于使用卷積加Relu 函數(shù)，得到的特征大多是豐富的細(xì)節(jié)信息；上下文路徑通過(guò)多次下采樣捕獲更多的上下文信息。兩種路徑輸出不同層次的特征，如果簡(jiǎn)單的進(jìn)行拼接，無(wú)法得到更有效的特征，因此提出一個(gè)特征融合模塊（圖3）來(lái)解決特征融合問(wèn)題。

圖3 特征融合模塊Fig.3 Feature fusion module

對(duì)于兩條不同路徑的輸出，將其串聯(lián)起來(lái)，通過(guò)批歸一化能平衡不同層次特征的尺度。然后將連接的特征通過(guò)一種與SENet類似的結(jié)構(gòu)計(jì)算出一個(gè)權(quán)重向量，通過(guò)權(quán)重向量與原始特征向量相乘可將原始特征進(jìn)行重新賦權(quán)，即完成了不同層次特征的選擇和組合。類SENet結(jié)構(gòu)由兩條相似路徑組成，為了充分利用特征信息，將特征通過(guò)最大池化和平均池化，然后通過(guò)2 個(gè)1×1 卷積限制模型復(fù)雜度，并在兩個(gè)卷積中加入Relu 函數(shù)增加其非線性，最后通過(guò)sigmoid 函數(shù)得到權(quán)重向量。具體結(jié)構(gòu)設(shè)計(jì)細(xì)節(jié)如圖3。

2.4 損失函數(shù)和優(yōu)化器

卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化模型首先需要合適的目標(biāo)函數(shù)，我們使用分類中最常用的交叉熵函數(shù)作為SSABN的損失函數(shù)，交叉熵的損失函數(shù)如下：

式中，y和為真實(shí)和預(yù)測(cè)標(biāo)簽，C是類別的數(shù)量，M是樣本數(shù)量。模型中參數(shù)的更新則使用隨機(jī)梯度下降。

3 HSI分類實(shí)驗(yàn)

在本節(jié)，首先介紹本文實(shí)驗(yàn)中使用的HSI數(shù)據(jù)集。然后對(duì)影響模型性能的一些超參數(shù)進(jìn)行試驗(yàn)分析，之后由消融實(shí)驗(yàn)分析光譜空間注意力模塊與特征融合模塊的作用。最后將提出模型與和其他現(xiàn)有模型進(jìn)行比較，分析討論實(shí)驗(yàn)結(jié)果。

3.1 數(shù)據(jù)集介紹

我們?cè)趯?shí)驗(yàn)中使用3個(gè)公開(kāi)HSI數(shù)據(jù)IPs（Indian Pine），PU（Pavia University），SA（Salinas）來(lái)驗(yàn)證提出模型的有效性（表1）。

表1 本文所使用的3個(gè)數(shù)據(jù)集Table 1 Three data sets used in this article

（1）IP（Indian Pines）：這組數(shù)據(jù)拍攝時(shí)間為1992 年6 月，由機(jī)載可見(jiàn)光/紅外成像分光計(jì)（AVIRIS）傳感器在印第安納州西北部的印第安松實(shí)驗(yàn)地點(diǎn)上空收集，該數(shù)據(jù)集像素大小為145×145，可用光譜波段數(shù)為200。該圖像三分之一區(qū)域?yàn)樯只蚱渌烊恢参?；接近三分之二的區(qū)域?yàn)檗r(nóng)業(yè)作物，圖中有一些農(nóng)作物（玉米、大豆）覆蓋率不足5%，是由于該圖像拍攝時(shí)間為6 月，這些農(nóng)作物還處于生長(zhǎng)初期；除此之外主要為高速公路和鐵路線?，F(xiàn)有的圖像被標(biāo)記為16 個(gè)不同類別。表2列出了每個(gè)類的訓(xùn)練、驗(yàn)證和測(cè)試樣本的數(shù)量。

表2 India Pine數(shù)據(jù)集的類名和每個(gè)類樣本數(shù)Table 2 Class name and sample number of each class for IP dataset

（2）PU（Pavia University）：這組數(shù)據(jù)拍攝時(shí)間為2002 年7 月，由意大利北部帕維亞大學(xué)的反射光學(xué)系統(tǒng)成像儀（ROSIS）采集，該數(shù)據(jù)集像素大小為610×340，可用光譜波段數(shù)為103?，F(xiàn)有的圖像被標(biāo)記為9 個(gè)不同類別。表3 列出了每個(gè)類的訓(xùn)練、驗(yàn)證和測(cè)試樣本的數(shù)量。

表3 Pavia University數(shù)據(jù)集的類名和每個(gè)類樣本數(shù)Table 3 Class name and sample number of each class for PU dataset

（3）SA（Salinas）：這組數(shù)據(jù)由AVIRIS 傳感器于1998 年在Salinas 山谷收集，該數(shù)據(jù)集像素大小為512×217，可用光譜波段數(shù)為224?，F(xiàn)有地物大多為農(nóng)作物，被分為16 個(gè)地物類別。表4 列出了每個(gè)類的訓(xùn)練、驗(yàn)證和測(cè)試樣本的數(shù)量。

表4 Salinas 數(shù)據(jù)集的類名和每個(gè)類樣本數(shù)Table 4 Class name and sample number of each class for SA dataset

3 個(gè)數(shù)據(jù)集有不同的可用標(biāo)記樣本數(shù)量。IP 數(shù)據(jù)集有10249 個(gè)標(biāo)記樣本，PU 數(shù)據(jù)集有42766 個(gè)標(biāo)記樣本，而SA 數(shù)據(jù)集有54129 個(gè)標(biāo)記樣本。對(duì)于3 個(gè)數(shù)據(jù)集，我們隨機(jī)選取20%，10%，70%的標(biāo)記樣本分別作為訓(xùn)練樣本，驗(yàn)證樣本和測(cè)試樣本，詳細(xì)數(shù)據(jù)如表2—4所示。

3.2 實(shí)驗(yàn)環(huán)境配置

為了評(píng)估SSABN 模型的性能，實(shí)驗(yàn)在CPU 為Intel Core i7-9750H 2.60 GHz*12，RAM 為16 GB，GPU為NVIDIA GeForce 2060，RAM為6 GB的個(gè)人計(jì)算機(jī)上進(jìn)行。軟件環(huán)境的系統(tǒng)為Windows 10家庭版，python版本為3.7.6，深度學(xué)習(xí)框架為PYTorch，版本為1.4.0。

實(shí)驗(yàn)的定量評(píng)估方法使用總體精度OA（Overall Accuracy），平均精度AA（Average Accuracy）和Kappa系數(shù)（K）作為評(píng)價(jià)指標(biāo)。

3.3 超參數(shù)設(shè)置

我們分析了影響訓(xùn)練進(jìn)度和分類性能的一些因素即超參數(shù)，如批量大小，卷積濾波器核數(shù)，空間輸入大小和訓(xùn)練樣本比例，選取其在驗(yàn)證數(shù)據(jù)集上分類性能最優(yōu)的參數(shù)，作為最終的實(shí)驗(yàn)結(jié)果比較。在接下來(lái)的實(shí)驗(yàn)中，每個(gè)實(shí)驗(yàn)進(jìn)行200個(gè)epoch。

3.3.1 批量大小

神經(jīng)網(wǎng)絡(luò)的收斂速度和收斂性由學(xué)習(xí)率和批量大小決定，學(xué)習(xí)率控制著訓(xùn)練過(guò)程中梯度下降的步長(zhǎng)，批量大小控制訓(xùn)練過(guò)程中每一個(gè)epoch 中梯度下降的次數(shù)。我們使用多步下降策略控制學(xué)習(xí)率，對(duì)于批量大小則考慮以下集合｛8，16，32，64，128，256｝。結(jié)果如圖4 所示，在IP 數(shù)據(jù)集上最佳批量大小為32，而在PU 和SA 數(shù)據(jù)集上則為64。與IP 數(shù)據(jù)集相比，PU 和SA 數(shù)據(jù)集需要更大的批量大小，這是由于在相同學(xué)習(xí)率下，PU 和SA數(shù)據(jù)集訓(xùn)練樣本數(shù)更大。

圖4 不同批量大小下的準(zhǔn)確度Fig.4 Accuracy with different batch size

3.3.2 卷積濾波器核數(shù)

在雙邊網(wǎng)絡(luò)中，上下文路徑和空間路徑的卷積濾波器的核數(shù)決定了其表示能力和計(jì)算消耗，設(shè)空間路徑每層的核數(shù)均為ks，上下文路徑第一層同樣為ks，之后每次下采樣將卷積濾波器的核數(shù)翻倍。為尋找SSABN 模型最優(yōu)濾波器核數(shù)ks，我們考慮以下ks集合｛8，16，24，32｝。如圖5所示，卷積濾波器核數(shù)越大，在數(shù)據(jù)集IP 上有更好的準(zhǔn)確度，而在數(shù)據(jù)集PU 和SA 上，卷積濾波器數(shù)量為24，模型達(dá)到最佳性能。

圖5 不同卷積濾波器核數(shù)下的準(zhǔn)確度Fig.5 Accuracy with different kernel numbers of convolutional filters

3.3.3 空間輸入大小

空間輸入大小決定了有多少空間信息用于分類。隨著空間輸入大小的增加，可用的空間信息逐漸增加，同時(shí)也增加了一定的冗余信息。為評(píng)估空間輸入大小對(duì)SSABN 分類效果的影響，考慮｛5，7，9，11，13，15，17，19，21｝ 的空間輸入大小集合。如圖6 所示，對(duì)于3 個(gè)不同的數(shù)據(jù)集，當(dāng)空間輸入大小大于或等于9 × 9 時(shí)，SSABN表現(xiàn)穩(wěn)健。

圖6 不同空間輸入大小的SSABN的準(zhǔn)確度Fig.6 Accuracy with different spatial input sizes

雙邊網(wǎng)絡(luò)結(jié)構(gòu)提取兩種不同層次特征，其空間路徑提取特征具有豐富的空間信息，上下文路徑通過(guò)多次下采樣提取全局特征。只有當(dāng)兩種不同層次特征有足夠區(qū)分度時(shí)，經(jīng)過(guò)特征融合模塊的輸出結(jié)果才具有足夠的判別性和抽象性。由于上下文路徑的最大下采樣倍數(shù)為8，當(dāng)空間輸入小于8時(shí)，4倍下采樣與8倍下采的空間特征相似。所以當(dāng)空間輸入大小大于9×9時(shí)，SSABN表現(xiàn)穩(wěn)健。

3.3.4 訓(xùn)練樣本比例

卷積神經(jīng)網(wǎng)絡(luò)由于其結(jié)構(gòu)，相較于傳統(tǒng)方法有更強(qiáng)的擬合能力，當(dāng)訓(xùn)練樣本數(shù)量較少時(shí)更容易產(chǎn)生過(guò)擬合?？紤]分別使用1%，5%，10%，15%和20%的標(biāo)記像素作為訓(xùn)練集來(lái)訓(xùn)練SSABN。如圖7 所示，隨著訓(xùn)練樣本數(shù)量比例增加到15%，SSABN在3個(gè)數(shù)據(jù)集上有更高的整體準(zhǔn)確度。當(dāng)訓(xùn)練樣本比例為1%和5%時(shí)，SSABN 在IP 數(shù)據(jù)集上略低于SSRN 和FDSSC，但隨著訓(xùn)練樣本的增加，SSABN 準(zhǔn)確度略高于其他方法。這是由于IP 數(shù)據(jù)集本身數(shù)據(jù)量較小，且部分類別樣本數(shù)過(guò)小導(dǎo)致。

圖7 模型在不同訓(xùn)練樣本比例的IP，PU，SA數(shù)據(jù)集上的準(zhǔn)確度Fig.7 The accuracy of the algorithm on the IP，PU，and SA datasets of different training sample proportions

3.4 消融實(shí)驗(yàn)

3.4.1 光譜空間注意力

我們將SSABN 與第一層沒(méi)有光譜空間注意力模塊的雙邊網(wǎng)絡(luò)進(jìn)行比較，結(jié)果如表5。在3 個(gè)數(shù)據(jù)集上，SSABN 分類準(zhǔn)確度上均優(yōu)于沒(méi)有第一層注意力模塊的雙邊網(wǎng)絡(luò)。這些結(jié)果表明，第一層光譜空間注意力模塊能有效選擇有用的原始HSI數(shù)據(jù)進(jìn)行后續(xù)的特征學(xué)習(xí)。

表5 有/無(wú)光譜空間注意力模塊的OATable 5 OA of with/without spectral-spatial attention module

我們將光譜—空間注意力模塊與其他常用注意力模塊：通道注意力，空間注意力，SENet進(jìn)行比較。結(jié)果如表6 所示，除了PU 數(shù)據(jù)集，光譜—空間注意力在3 個(gè)數(shù)據(jù)集上，比其他3 個(gè)注意力模塊都有更高的OA。而由于PU數(shù)據(jù)集具有1.3 m/pix的像素分辨率，這使得相鄰像素對(duì)中心像素分類有更大影響，所以空間注意力比光譜空間注意力有更高的OA。

表6 不同注意力模塊的OATable 6 OA of different attention module

3.4.2 特征融合模塊

我們將SSABN 與沒(méi)有特征融合模塊的雙邊網(wǎng)絡(luò)進(jìn)行比較，結(jié)果如表7。在3 個(gè)數(shù)據(jù)集中，含有特征融合模塊分類準(zhǔn)確度高于不含特征融合的網(wǎng)絡(luò)，這說(shuō)明特征融合模塊能有效融合兩條路徑不同輸出，產(chǎn)生更具判別性特征。

表7 特征融合模塊對(duì)OA影響Table 7 The influence of feature fusion module on OA

3.5 HSI分類實(shí)驗(yàn)

在本節(jié)中，我們將提出的SSABN 與一種傳統(tǒng)機(jī)器學(xué)習(xí)方法：SVM（Melgani和Bruzzone，2004），以及3 種基于深度學(xué)習(xí)的方法：3D-CNN，F(xiàn)DSSC（Wang 等，2018），SSRN（Zhong 等，2017），HYBridSN（Roy等，2020）以及GhostNet（Das等，2020）進(jìn)行對(duì)比。我們進(jìn)行10 次重復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果以平均值±標(biāo)準(zhǔn)偏差表示。

（1）定量分析。不同方法的定量度量見(jiàn)表5—8。由表5—7 可以看出，與傳統(tǒng)算法相比，深度學(xué)習(xí)方法能在3 個(gè)公開(kāi)數(shù)據(jù)集上取得更好的性能。這是由于它們可以學(xué)習(xí)更多抽象的高級(jí)特性，而SVM 僅僅使用原始數(shù)據(jù)的光譜特性進(jìn)行分類。此外，光譜空間注意力模塊能有效地提取光譜和空間信息，雙邊網(wǎng)絡(luò)結(jié)構(gòu)能有效地利用多尺度特征，使得SSABN 的分類準(zhǔn)確度優(yōu)于其他幾種深度學(xué)習(xí)方法。

上述實(shí)驗(yàn)證明，我們提出的方法在同等條件下可以達(dá)到較高的準(zhǔn)確度，而一個(gè)好的方法應(yīng)該平衡準(zhǔn)確度和效率。在每個(gè)數(shù)據(jù)集中隨機(jī)選取20%標(biāo)記像素作為訓(xùn)練樣本驗(yàn)證，其他參數(shù)選取算法的最優(yōu)參數(shù)。由表8可以看到，SSABN相比其他大部分深度學(xué)習(xí)方法有更快的迭代速度，這是由于光譜空間注意力模塊是簡(jiǎn)單的輕量級(jí)模塊，上下文路徑模塊由于下采樣有快速的計(jì)算速度，而空間路徑本身2D卷積結(jié)構(gòu)計(jì)算量小于SSRN的3D卷積結(jié)構(gòu)，使得SSABN擁有更快的計(jì)算效率和迭代速度。所提出SSABN訓(xùn)練時(shí)間略高于HYBridSN，這是由于HYBridSN對(duì)原始HIS進(jìn)行PCA降維，大大減少了計(jì)算量。

表8 不同模型在IP數(shù)據(jù)集上分類準(zhǔn)確度Table 8 Accuracy of different models on the IP dataset

表9 不同模型在PU數(shù)據(jù)集上分類準(zhǔn)確度Table 9 Accuracy of different models on the PU dataset

表10 不同模型在SA數(shù)據(jù)集上分類準(zhǔn)確度Table 10 Accuracy of different models on the SA dataset

以上實(shí)驗(yàn)證明，我們提出的SSABN 不僅在有較高的準(zhǔn)確的的同時(shí)，有效減少了訓(xùn)練時(shí)間，能很好地提高準(zhǔn)確度和效率，是一個(gè)較為優(yōu)質(zhì)的解決方案。

（2）定性分析。圖8—10 是原始圖像的groundtruth圖和不同方法在3個(gè)數(shù)據(jù)集上的分類結(jié)果可視化。從3個(gè)數(shù)據(jù)集的分類圖可以看到，SSABN有誤分點(diǎn)，生成的分類圖最為準(zhǔn)確，特別是在兩類的分界線上，同時(shí)在沒(méi)有標(biāo)記類別的區(qū)域有更精細(xì)的分辨率。這是因?yàn)樵撃Ｐ屠每臻g信息來(lái)學(xué)習(xí)中心像素與周圍像素的關(guān)系，所以能產(chǎn)生更為平滑的邊界。

圖8 使用不同模型的IP數(shù)據(jù)分類圖Fig.8 Classification maps for the IP dataset

圖9 使用不同模型的PU數(shù)據(jù)分類圖Fig.9 Classification maps for the PU dataset

圖10 使用不同模型的SA數(shù)據(jù)分類圖Fig.10 Classification maps for the SA dataset

4 結(jié)論

本文中提出一種用于HSIC 的SSABN 模型，該模型用雙邊網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)光譜和空間特征，用光譜—空間注意力來(lái)進(jìn)行光譜波段和空間信息的選擇和增強(qiáng)，最后由特征融合模塊進(jìn)行特征融合輸出判別性特征。

首先，原始的HSI 塊直接作為模型的輸入，這是一個(gè)端到端的二維CNN 網(wǎng)絡(luò)框架，不用依靠領(lǐng)域知識(shí)和專家經(jīng)驗(yàn)。其次，利用光譜注意力和空間注意力模塊來(lái)增強(qiáng)和提取有效的波段和像素。消融實(shí)驗(yàn)表明，光譜空間注意力模塊能有效地提取抽象性特征，增加分類精度。雙邊網(wǎng)絡(luò)提取豐富信息后由特征融合模塊提取判別性特征，并通過(guò)全連接層輸出預(yù)測(cè)類別，通過(guò)熔斷實(shí)驗(yàn)證明了特征融合模塊的有效性。最后，在3 個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，由定量分析可以看出，SSABN 網(wǎng)絡(luò)模型均取得了更加好的分類精度同時(shí)也降低了計(jì)算消耗時(shí)間，結(jié)果可視化也表明，SSABN 網(wǎng)絡(luò)能有效地劃分邊界，且分類精度高于其他模型。