吳俊峰，高 龍，王 超，徐從安，閆文君

（海軍航空大學(xué)，山東煙臺 264000）

0 引言

隨著成像技術(shù)的日趨成熟，高光譜圖像不僅可以提供越來越豐富的譜域和空域信息，還能更詳細(xì)地描述地物特征。由于高光譜圖像優(yōu)勢明顯，高光譜分類技術(shù)已經(jīng)逐漸成為對地觀測的重要手段，在環(huán)境保護(hù)、農(nóng)業(yè)和地理觀測等領(lǐng)域具有廣泛應(yīng)用[1-2]。

早期高光譜圖像分類方法主要關(guān)注于如何提取有效的光譜特征，以解決多波段、高冗余帶來的維度災(zāi)難問題。降維和傳統(tǒng)分類器相結(jié)合的方法成為常見的分類手段，如主成分分析（Principal Component Analysis，PCA）、獨(dú)立成分分析[3]、K 近鄰、支持向量機(jī)（Support Vector Machine，SVM）[4]等。但相關(guān)方法始終無法有效解決高光譜圖像存在嚴(yán)重的“同譜異物，同物異譜”的問題[5-6]。為了進(jìn)一步提升分類效果，很多學(xué)者提出空譜融合的高光譜圖像分類方法，如條件隨機(jī)場[7]、稀疏表示[8]和多核學(xué)習(xí)[9-10]等。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[11-12]已經(jīng)成為解決高光譜圖像分類任務(wù)的有效方法。Hu等[13]提出1種5層卷積神經(jīng)網(wǎng)絡(luò)用于高光譜圖像分類，取得了更好的分類效果；Yue等[14]將高光譜圖像中的空間信息和光譜信息融合后引入到CNN模型，進(jìn)一步提升了分類效果；Liang等[15]基于協(xié)同稀疏自編碼構(gòu)建了光譜-空間特征融合機(jī)制，并利用SVM 實(shí)現(xiàn)分類；Zhao 等[16]利用孿生神經(jīng)網(wǎng)絡(luò)提取相鄰像素對的光譜和空間關(guān)系信息，并利用softmax損失函數(shù)實(shí)現(xiàn)分類；Zhao等[17]基于稠密卷積和條件隨機(jī)場構(gòu)造了新的分類方法，該方法利用稠密連接神經(jīng)網(wǎng)絡(luò)提取光譜特征，利用條件隨機(jī)場整合全局空間信息；Wu等[18]利用1D-CNN和2D-CNN分別提取光譜和空間特征，并構(gòu)建了二分支網(wǎng)絡(luò)架構(gòu)來實(shí)現(xiàn)高光譜分類。相關(guān)研究表明，基于CNN，將光譜信息和空間信息進(jìn)行融合，能夠有效提升高光譜圖像分類精度。但是目前，高光譜圖像分類相關(guān)研究主要以2D-CNN 為主，在進(jìn)行特征提取時(shí)需要對網(wǎng)絡(luò)中每1 個二維輸入進(jìn)行卷積，每1 個光譜波段都有1 組待學(xué)習(xí)的核。擁有數(shù)百個光譜波段的高光譜圖像的分類，通常需要大量的卷積核，這需要消耗大量的計(jì)算資源，且容易造成過度擬合[19]。同時(shí)，空間信息提取以某一波段的平面空間信息為主，較少考慮不同波段之間的立體空間信息。為此，Chen 等[19]提出了3D-CNN，通過3D 卷積核實(shí)現(xiàn)光譜信息和立體空間信息的同時(shí)提取和融合，有效提升了分類效果；Wang等[20]將通道注意力機(jī)制和空間注意力機(jī)制引入3D-CNN 模型中，從而獲得了更具判別性的廣域-空間特征；Feng 等[21]基于殘差思想提出了11層殘差3D-2D模型，有效解決了小樣本條件下的高光譜分類問題；Roy 等[22]基于3D-CNN 和2DCNN 提出HybridSN 網(wǎng)絡(luò)，3D-CNN 用于提取光譜-立體空間信息，2D-CNN 則進(jìn)一步提取平面空間信息。基于3D-CNN 的相關(guān)方法提升了空間信息的利用程度，但是這些研究都只考慮了1種尺度的空間特征，未考慮不同地表覆蓋的尺度特性。

為提升高光譜分類效果，本文基于HybridSN，提出多尺度3D-MSCNN 網(wǎng)絡(luò)。首先，采用PCA 對高光譜數(shù)據(jù)進(jìn)行降維；然后，利用3D空譜特征提取網(wǎng)絡(luò)和2D多尺度特征提取網(wǎng)絡(luò)實(shí)現(xiàn)高光譜圖像特征提取；最后，利用Softmax 分類損失函數(shù)實(shí)現(xiàn)高光譜圖像分類任務(wù)。

1 3D卷積

圖1 2D和3D卷積的基本實(shí)現(xiàn)過程Fig.1 Process of 2D and 3D convolution

2 3D-MSCNN網(wǎng)絡(luò)

3D-MSCNN 通過引入多尺度特征提取網(wǎng)絡(luò)來提升網(wǎng)絡(luò)性能。網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示。其主要分為4個部分——數(shù)據(jù)處理、空譜特征提取網(wǎng)絡(luò)、多尺度特征提取網(wǎng)絡(luò)和輸出網(wǎng)絡(luò)。

圖2 3D-MSCNN網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖Fig.2 Network structure of 3D-MSCNN

2.1 數(shù)據(jù)處理

高光譜圖像波段數(shù)較多，數(shù)據(jù)量大，信息冗余度高，容易出現(xiàn)維數(shù)災(zāi)難現(xiàn)象。為克服上述問題，對于給定高光譜圖像I∈?W×H×L，利用PCA進(jìn)行降維，去除無用波段，獲得高光譜圖像X∈?W×H×L，其中：W、H為高光譜圖像的寬度和高度；L、D分別表示降維前后圖像的光譜波段數(shù)。然后，對X進(jìn)行邊緣填充，并以每個像素pij為中心提取尺寸為S×S×D的高光譜數(shù)據(jù)立方體Bij，1 ≤i≤W，1 ≤j≤H。每個數(shù)據(jù)立方體的標(biāo)簽由中心像素的標(biāo)簽yij決定。為了降低不同波段光譜量化范圍對高光譜圖像分類精度的影響，對高光譜圖像X按波段進(jìn)行歸一化，如式（3）所示。

2.2 空譜特征提取網(wǎng)絡(luò)

的數(shù)據(jù)立方體尺寸為23×23×24；經(jīng)過第2 個3D 卷積層后的數(shù)據(jù)立方體尺寸為21×21×20；經(jīng)過第3個3D卷積層后的數(shù)據(jù)立方體尺寸為19×19×18。

表1 空譜特征提取網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.1 Parameters of spatial-spectral feature extraction network

2.3 多尺度特征提取網(wǎng)絡(luò)

為提升不同尺度地物的特征表達(dá)能力，在3D 空譜特征提取網(wǎng)絡(luò)后接入特征金字塔網(wǎng)絡(luò)，如表2 所示。在該結(jié)構(gòu)中：首先，對空譜特征提取網(wǎng)絡(luò)獲得的數(shù)據(jù)立方體Feature3 進(jìn)行reshape 處理，獲得2D 特征圖譜M1，對M1 進(jìn)行自底向上的2 次2D 卷積和maxpooling 下采樣，分別獲得不同尺度的特征圖M2 和M3；然后，利用最近鄰內(nèi)插法對M3 進(jìn)行自頂向下的上采樣，并逐級在M2 和M1 層之間建立1×1 卷積橫向連接，逐步得到特征圖P2 和P1；最后，利用Flatten層將特征圖一維化，并連接2 個參數(shù)為1×1×1024 的全連接層，每個全連接層采用Dropout 方法隨機(jī)丟棄50%的隱藏層節(jié)點(diǎn)，以控制過擬合的風(fēng)險(xiǎn)。

表2 多尺度特征提取網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.2 Parameters of multiscale feature extraction network

2.4 輸出網(wǎng)絡(luò)

在輸出網(wǎng)絡(luò)構(gòu)建softmax 損失函數(shù)，完成高光譜圖像的多分類任務(wù)。在訓(xùn)練過程中，采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器優(yōu)化目標(biāo)函數(shù)，對參數(shù)進(jìn)行學(xué)習(xí)，得到每個像元所屬的類別。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的分類能力，本文在2 個公開數(shù)據(jù)集，即印第安納州農(nóng)場（Indian Pines）數(shù)據(jù)集和帕維亞大學(xué)（Pavia University）數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。選擇總體精度（Overall Accuracy，OA）、平均分類精度（Average Accuracy，AA）和Kappa[22]系數(shù)作為定量評價(jià)指標(biāo)，并與SVM[23]、CD-CNN[24]、3D-CNN[25]、SS-Net[12]和HybirdSN[22]等方法進(jìn)行比較。為保證評價(jià)指標(biāo)的客觀性，進(jìn)行10次獨(dú)立重復(fù)實(shí)驗(yàn)來獲取相關(guān)指標(biāo)數(shù)據(jù)。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

1）Indian Pines數(shù)據(jù)集

Indian Pines 數(shù)據(jù)集是利用AVIRIS 光譜儀拍攝的印第安納州一片農(nóng)場的高光譜圖像，其偽彩色圖像和真值圖，如圖3 a）、b）所示。該高光譜圖像長寬為145×145，光譜波段數(shù)為220，圖中包含森林、草甸、玉米、小麥和柏油路等16 類地物。該場景下，訓(xùn)練和測試樣本數(shù)，如表3所示。

圖3 Indian Pines和Pavia University高光譜圖像Fig.3 Hyperspectral images of Indian Pines and Pavia University

表3 Indian Pines數(shù)據(jù)集的訓(xùn)練和測試樣本統(tǒng)計(jì)Tab.3 Training and testing set of Indian Pines

2）Pavia University數(shù)據(jù)集

Pavia University數(shù)據(jù)集是利用ROSIS光譜儀拍攝的意大利北部帕維亞大學(xué)的高光譜圖像，其偽彩色圖像和真值圖，如圖3 c）、d）所示。該高光譜圖像長寬為610×340，光譜波段數(shù)為103，包含林地、建筑物和馬路等9類地物。該場景下，訓(xùn)練和測試樣本數(shù)，如表4所示。

表4 Pavia University數(shù)據(jù)集的訓(xùn)練和測試樣本統(tǒng)計(jì)Tab.4 Training and testing set of Pavia University

3.2 參數(shù)設(shè)置

在Indian Pines 數(shù)據(jù)集上，通過PCA 降維，波段數(shù)D=30，數(shù)據(jù)立方體參數(shù)S=35；在Pavia University 數(shù)據(jù)集上，D=15，S=31。在2個數(shù)據(jù)集上，epoch均設(shè)置為1 000，學(xué)習(xí)率為0.001，批大?。╞atch size）為10。實(shí)驗(yàn)硬件條件為Intel Core i7 雙核處理器、Nvidia GTX2080 GPU 和32 G 內(nèi)存。實(shí)驗(yàn)軟件條件為CUDA10.0、CUDNN7.6.0、Tensorflow1.13.1和Python3.6。

3.3 結(jié)果與分析

本文算法在Indian Pines和Pavia University數(shù)據(jù)集上的分類效果，如圖4、5所示。

圖4 Indian Pines數(shù)據(jù)集上不同算法分類效果圖Fig.4 Classification results of different algorithms on Indian Pines dataset

圖5 Pavia University數(shù)據(jù)集上不同算法分類效果圖Fig.5 Classification results of different algorithms on Pavia University dataset

從圖4、5 中可以看出，本文算法獲得的分類結(jié)果圖像具有清晰的邊緣輪廓，包含更少的噪聲，更加接近真值圖。不同算法在Indian Pines和Pavia University數(shù)據(jù)集的客觀評價(jià)指標(biāo)，如表5所示。

表5 不同算法在Indian Pines和Pavia University數(shù)據(jù)集上的客觀評價(jià)指標(biāo)統(tǒng)計(jì)結(jié)果Tab.5 Statistics results of different methods for object evaluation indicators on Indian Pines and Pavia University datasets

從表5可以看出，本文算法的OA、AA和Kappa均超過其他方法，表現(xiàn)出了較為明顯的性能優(yōu)勢。與HybridSN 相比：本文算法在India Pines 數(shù)據(jù)集上性能分別提升了0.10%@OA、1.20%@AA 和0.93%@Kappa；在Pavia University 數(shù)據(jù)集上分別提升了1.50%@OA、2.98%@AA和1.95%@Kappa。結(jié)果表明，本文算法通過引入多尺度機(jī)制，能進(jìn)一步提升HybridSN網(wǎng)絡(luò)性能和分類效果。由于不同的地表覆蓋分辨率不同，所以數(shù)據(jù)立方體Bij的參數(shù)S對3D-MSCNN 精度影響較大，如圖6所示。

圖6 不同數(shù)據(jù)立方體尺寸參數(shù)S 對本文算法的影響Fig.6 Effect of different S of data cube for the proposed 3D-MSCNN

在Indian Pines 中，OA、AA 和Kappa 系數(shù)隨著S的增加呈現(xiàn)先上升后下降的趨勢，并在S=35 時(shí)，本文算法表現(xiàn)最好；在Pavia University 中，雖OA、AA 和Kappa 系數(shù)的波動性較大，但仍然可以看出，當(dāng)S=31時(shí)本文算法取得了較好的精度。

4 結(jié)語

本文設(shè)計(jì)提出了1 種針對高光譜圖像分類的3DMSCNN 模型。首先，采用PCA 對高光譜數(shù)據(jù)進(jìn)行降維；然后，利用3D 空譜特征提取網(wǎng)絡(luò)和2D 多尺度特征提取網(wǎng)絡(luò)實(shí)現(xiàn)高光譜圖像特征提??；最后，利用Softmax分類損失函數(shù)實(shí)現(xiàn)高光譜圖像分類任務(wù)。本文在構(gòu)建網(wǎng)絡(luò)時(shí)，在HybridSN網(wǎng)絡(luò)基礎(chǔ)上引入多尺度思想，充分發(fā)揮了高光譜圖像空譜信息價(jià)值，增強(qiáng)了對不同尺度地表覆蓋的表達(dá)能力，提升了高光譜圖像的分類效果。在Indian Pines 和Pavia University 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的有效性。