劉 冰，余旭初，張鵬強，譚 熊

信息工程大學(xué)，河南 鄭州 450001

高光譜遙感影像能夠同時提供地物豐富的光譜和空間信息，因此被廣泛應(yīng)用于精細(xì)農(nóng)業(yè)、環(huán)境監(jiān)測、城市規(guī)劃和軍事偵察等領(lǐng)域。高光譜影像地物分類則是開展各類應(yīng)用的重要環(huán)節(jié)之一，其最終目的是給影像中的每個像元賦予唯一類別標(biāo)識。然而，高光譜影像的高維和小樣本特性使得高光譜影像地物分類仍然面臨巨大挑戰(zhàn)。為此，支持向量機[1](support vector machine,SVM)、稀疏表達(dá)[2]、半監(jiān)督學(xué)習(xí)[3]和主動學(xué)習(xí)[4]等一系列分類方法被用于高光譜影像分類。但在不進(jìn)行特征提取的情況下，這些分類方法很難在高光譜遙感影像地物分類中取得理想結(jié)果。

深度學(xué)習(xí)方法通過多層的神經(jīng)網(wǎng)絡(luò)來提取更加抽象的特征表達(dá)，以更好地描述高維數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，進(jìn)而獲得更高的分類和識別精度。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是深度學(xué)習(xí)技術(shù)中極具代表性的網(wǎng)絡(luò)模型之一，其能夠直接處理高維的二維圖像數(shù)據(jù)，避免了人工設(shè)計特征的復(fù)雜過程，而是隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)，從而降低了分類和識別過程中數(shù)據(jù)重建的復(fù)雜度。由于采用了權(quán)值共享機制，使得CNN易于并行實現(xiàn)；此外，CNN對平移、尺度、形狀、光照等具有一定程度的不變性。由于具有以上優(yōu)點，CNN近年來已經(jīng)被成功用于目標(biāo)識別、圖像理解、機器翻譯等不同領(lǐng)域。隨著深度學(xué)習(xí)的快速發(fā)展，高光譜研究人員逐漸將深度學(xué)習(xí)方法用于解決高光譜影像分類問題。堆棧式自編碼器[5](stacked autoencoders，SAE)是一種簡單有效的深度學(xué)習(xí)方法，率先被用于高光譜影像分類。隨后，一維卷積神經(jīng)網(wǎng)絡(luò)[6](1D-CNN)、深度置信網(wǎng)絡(luò)[7]和循環(huán)神經(jīng)網(wǎng)絡(luò)[8]也被用于高光譜影像分類。大量的研究成果表明，綜合利用光譜和空間特征能夠有效提高高光譜遙感影像地物分類的精度。因此，利用二維卷積神經(jīng)網(wǎng)絡(luò)[9-13](2D-CNN)提取高光譜影像空間特征，并結(jié)合光譜特征，能獲得比1D-CNN更好地分類效果。此外，深度學(xué)習(xí)還與主動學(xué)習(xí)[14]、半監(jiān)督分類[15]、遷移學(xué)習(xí)[16]等方法結(jié)合以進(jìn)一步提高高光譜影像地物分類精度。

近年來，基于深度學(xué)習(xí)的高光譜遙感影像地物分類方法得到了廣泛的研究，并取得了一定進(jìn)展。但神經(jīng)網(wǎng)絡(luò)中通常包含了大量參數(shù)，需要大量標(biāo)注數(shù)據(jù)對其進(jìn)行優(yōu)化。而高光譜遙感影像標(biāo)注數(shù)據(jù)費時費力，用于訓(xùn)練的標(biāo)注數(shù)據(jù)非常有限。因此無法直接應(yīng)用大規(guī)模的深層網(wǎng)絡(luò)對高光譜遙感影像地物進(jìn)行分類。針對此問題，目前主要的研究集中于如何簡化網(wǎng)絡(luò)和減少參數(shù)數(shù)量，以使深度學(xué)習(xí)方法適應(yīng)高光譜遙感影像地物分類小樣本的特性。此外，為利用空間特征提高分類精度，現(xiàn)有的深度學(xué)習(xí)方法一般需要首先使用主成分分析對高光譜影像進(jìn)行降維預(yù)處理，進(jìn)而采用CNN提取空間特征，最后結(jié)合光譜特征進(jìn)行分類。但降維處理會丟失高光譜數(shù)據(jù)的細(xì)節(jié)信息，而這些細(xì)節(jié)信息很有可能是區(qū)別不同地物的判別信息。

針對以上問題，本文通過引入殘差學(xué)習(xí)結(jié)構(gòu)來解決小樣本條件下深層網(wǎng)絡(luò)難以訓(xùn)練的問題，并利用三維卷積來對高光譜影像進(jìn)行特征提取。三維卷積可直接對高光譜影像進(jìn)行處理，不需要降維等預(yù)處理操作，因此能夠更加充分地利用高光譜影像提供的光譜和空間信息。本文構(gòu)建的深層三維卷積網(wǎng)絡(luò)能夠提取更加抽象的特征表達(dá)，且不需要降維預(yù)處理，能夠提高高光譜遙感影像地物分類精度。在Pavia大學(xué)、Indian Pines和Salinas三組高光譜數(shù)據(jù)集上驗證了本文算法的有效性。

1 本文算法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN最初是受到視覺系統(tǒng)中神經(jīng)機制的啟發(fā)，針對二維形狀的識別而設(shè)計的一種多層感知機。該方法將局部連接、權(quán)值共享、空間亞采樣三種思想結(jié)合起來獲得某種程度的平移、尺度、形狀不變性，具有對二維圖像適應(yīng)性強的特點。同時，CNN結(jié)構(gòu)的可拓展性很強，它通常由若干卷積層、池化層(下采樣層)和全連接層組成，可以采用很深的網(wǎng)絡(luò)結(jié)構(gòu)。因此，CNN能夠處理更復(fù)雜的分類和識別問題，并取得較為理想的結(jié)果。

(1)

池化層完成對卷積層輸出特征圖的下采樣操作，以實現(xiàn)特征對平移、尺度、形狀的不變性，同時達(dá)到減少訓(xùn)練參數(shù)的目的。常見的下采樣操作有均值池化和最大池化。卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過若干交替的卷積層和池化層后，將特征輸入全連接層和分類器中，并計算損失函數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是使損失函數(shù)最小，通常采用反向傳播算法進(jìn)行訓(xùn)練。

1.2 三維卷積

CNN最初是針對二維形狀的識別而設(shè)計，可以直接處理二維圖像，建立從底層信號到高層語義的映射關(guān)系，并在視覺圖像分類和識別中取得了成功。然而，卷積神經(jīng)網(wǎng)絡(luò)在對視頻等三維數(shù)據(jù)進(jìn)行分析時，具有一定局限性。高光譜遙感影像是三維的數(shù)據(jù)立方體。因此，卷積神經(jīng)網(wǎng)絡(luò)在對高光譜遙感影像地物進(jìn)行分類前需要使用主成分分析等方法進(jìn)行降維預(yù)處理。但降維處理會損失高光譜圖像中的細(xì)節(jié)信息，而這些細(xì)節(jié)信息往往有助于區(qū)分不同地物類別。

(2)

1.3 殘差學(xué)習(xí)

圖2 殘差學(xué)習(xí)示意Fig.2 Illustration of residual learning

殘差學(xué)習(xí)的基本思想是在傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，引入一條捷徑，跳躍繞過一些層的連接與主徑相加。引入捷徑后，訓(xùn)練過程中的底層誤差可以通過捷徑向上層傳播，緩解了因?qū)訑?shù)過多而導(dǎo)致的梯度彌散問題，使得深層網(wǎng)絡(luò)的訓(xùn)練變得容易。

1.4 本文網(wǎng)絡(luò)結(jié)構(gòu)

高光譜遙感影像是典型的三維數(shù)據(jù)立方體，且標(biāo)注訓(xùn)練樣本費時費力。因此，在應(yīng)用深層網(wǎng)絡(luò)對高光譜影像進(jìn)行分類時，需要面臨高維和小樣本導(dǎo)致的“維數(shù)災(zāi)難”問題以及網(wǎng)絡(luò)退化問題的挑戰(zhàn)。為此，本文構(gòu)建如圖3所示的深層三維卷積網(wǎng)絡(luò)用于對高光譜遙感影像進(jìn)行分類。圖3所示的深層三維卷積網(wǎng)絡(luò)的深度主要體現(xiàn)在具有更多的隱藏層數(shù)，該網(wǎng)絡(luò)由輸入層、一個三維卷積層、兩個殘差學(xué)習(xí)模塊(包含3個三維卷積層)、兩個池化層、一個全連接層和輸出層組成。表1給出了常用于高光譜影像分類的深度學(xué)習(xí)模型包含的隱藏層數(shù)和本文網(wǎng)絡(luò)包含的隱藏層數(shù)。由表1可知，與目前常用于高光譜影像分類的深度學(xué)習(xí)模型相比，本文網(wǎng)絡(luò)具有更多的隱藏層數(shù)，能夠提取和利用更加抽象的深層特征。

表1 常用于高光譜影像分類的深度學(xué)習(xí)模型的隱藏層數(shù)

圖3中，Conv表示卷積核大小為3×3×3的三維卷積層，Pooling表示步長2×2×4為池化層，F(xiàn)C表示全連接層。ReLU[20-21](rectified linear units)激活函數(shù)相比于傳統(tǒng)的Sigmoid和tanh激活函數(shù)具有更快的收斂速度。因此，本文所有三維卷積層均采用ReLU激活函數(shù)進(jìn)行非線性映射。ReLU激活函數(shù)形式為

f(x)=max(0,x)

(3)

圖3中，虛線框內(nèi)為一個殘差學(xué)習(xí)模塊。通常的殘差學(xué)習(xí)模塊中包含池化層，這將導(dǎo)致捷徑和主徑特征維度不同而無法相加，一般的做法是對主徑的特征圖進(jìn)行補全或上采用處理。本文對每個三維卷積層的輸入進(jìn)行補全處理，以使得卷積前后的特征圖維度相同，且在殘差學(xué)習(xí)模塊中不使用池化層，從而實現(xiàn)主徑和捷徑特征圖的相加融合。每個殘差學(xué)習(xí)模塊后連接一個步長2×2×4為的池化層，以減少計算量，并對特征進(jìn)行聚合。高光譜影像通常具有較高的光譜維度，且各波段間存在較強的相關(guān)性，即存在大量冗余信息。文獻(xiàn)[6]在利用1D-CNN對光譜特征進(jìn)行分類時，僅使用了一個池化層。因此，使用了較大的池化步長5，以達(dá)到快速降低光譜特征維度的目的。鑒于此，本文網(wǎng)絡(luò)在每個殘差模塊后連接一個池化層，并將光譜維度池化步長設(shè)置為4，而空間維度池化步長均設(shè)置為2。然后，將最后一個三維卷積層輸出的特征圖展成一維向量，與全連接層相連，并在全連接層采用Dropout正則化方法，隨機丟棄隱藏層一定比例的節(jié)點，以控制過擬合風(fēng)險。最后，在輸出層采用Softmax函數(shù)作為激活函數(shù)，以完成高光譜影像的多種地物分類任務(wù)。Softmax激活函數(shù)形式為

(4)

本文網(wǎng)絡(luò)的訓(xùn)練與傳統(tǒng)卷積網(wǎng)絡(luò)訓(xùn)練相同，包含前向網(wǎng)絡(luò)計算和反向傳播兩個步驟。首先，將訓(xùn)練樣本輸入到網(wǎng)絡(luò)中得到輸出的類別標(biāo)簽，并計算相對于已知類別標(biāo)簽的交叉熵?fù)p失函數(shù)。然后，采用基于反向傳播的隨機梯度下降法來優(yōu)化網(wǎng)絡(luò)參數(shù)。

圖3 深度三維卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of deep 3D convolution network

2 試驗結(jié)果與分析

試驗的硬件環(huán)境為32 G內(nèi)存、i7-5700Q處理器，GTX970M顯卡。試驗程序均在Ubuntu16.04系統(tǒng)下，基于谷歌深度學(xué)習(xí)開源庫TensorFlow實現(xiàn)。

2.1 試驗數(shù)據(jù)

為驗證算法的有效性，使用具有代表性的Pavia大學(xué)[22-23]、Indian Pines[24]和Salinas[25]高光譜遙感數(shù)據(jù)集進(jìn)行分類試驗。

(1) Pavia大學(xué)數(shù)據(jù)集：該數(shù)據(jù)由ROSIS傳感器獲得，光譜覆蓋范圍為430～860 nm，影像大小為610×340像素，空間分辨率為1.3 m，去除受噪聲影響的波段后，剩余103個波段可用于分類。該數(shù)據(jù)集對9種地物進(jìn)行了標(biāo)注。地物類別、選取的訓(xùn)練樣本數(shù)量、確認(rèn)樣本數(shù)量以及測試樣本數(shù)量見表2。

(2) Indian Pines數(shù)據(jù)集：該數(shù)據(jù)集由AVIRIS傳感器獲得，光譜覆蓋范圍為400～2500，影像大小為145×145像素，空間分辨率為20 m，去除受噪聲影響的波段后，剩余200個波段可用于分類。該數(shù)據(jù)集對16種地物進(jìn)行了標(biāo)注。參照文獻(xiàn)[24]，去除樣本數(shù)量較少的地物類別，選取樣本較多的9種地物進(jìn)行試驗分析。地物類別、選取的訓(xùn)練樣本數(shù)量、確認(rèn)樣本數(shù)量以及測試樣本數(shù)量見表3。

(3) Salinas數(shù)據(jù)集：該數(shù)據(jù)集由AVIRIS傳感器獲得，光譜覆蓋范圍為430～860，影像大小512×217為像素，空間分辨率為3.7 m，去除受噪聲影響的波段后，剩余204個波段可用于分類。該數(shù)據(jù)集對16種地物進(jìn)行了標(biāo)注。地物類別、選取的訓(xùn)練樣本數(shù)量、確認(rèn)樣本數(shù)量以及測試樣本數(shù)量見表4。

表2 Pavia大學(xué)數(shù)據(jù)集樣本信息

表3 IndianFines數(shù)據(jù)集樣本信息

2.2 試驗結(jié)果與分析

深度三維卷積網(wǎng)絡(luò)(Res-3D-CNN)結(jié)構(gòu)的設(shè)計參考了計算機視覺領(lǐng)域CNN設(shè)計的一般經(jīng)驗，即在更高的卷積層，使用更多的卷積核，例如第1個卷積層中使用8個卷積核，在第2個卷積層在使用16個卷積核。在一個殘差結(jié)構(gòu)中所有卷積層使用的卷積核數(shù)量相同，以確保捷徑和主徑特征維度相同。表5給出了不同數(shù)據(jù)集第一個卷積層使用不同數(shù)量的卷積核對應(yīng)的總體分類精度。表6給出了不同數(shù)據(jù)集第一個卷積層使用不同數(shù)量的卷積核對應(yīng)的訓(xùn)練時間。由表5—6可知，參數(shù)數(shù)量隨著卷積核數(shù)量增加而增加，因此使用更多的卷積核需要更多的訓(xùn)練時間；但分類精度在某個數(shù)量的卷積核處達(dá)到飽和，繼續(xù)增加卷積核數(shù)量，反而會加劇網(wǎng)絡(luò)退化現(xiàn)象，從而導(dǎo)致分類精度下降。由于不同傳感器獲取高光譜數(shù)據(jù)的光譜維度不同，因此，不同傳感器高光譜數(shù)據(jù)的最優(yōu)卷積核數(shù)量也有所不同。根據(jù)表5，對于ROSIS傳感器獲得的Pavia大學(xué)數(shù)據(jù)最優(yōu)的卷積核數(shù)為32，而對于AVIRIS傳感器獲得的Indian Pines和Salinas數(shù)據(jù)最優(yōu)的卷積核數(shù)量為16。

網(wǎng)絡(luò)結(jié)構(gòu)確定后，利用均值為0、方差為0.1的截斷正態(tài)分布對卷積層和全連接層的權(quán)重進(jìn)行隨機初始化，偏置均初始化為0.1。Dropout參數(shù)設(shè)置為0.5(即隨機關(guān)閉隱藏層50%的節(jié)點)。采用Adam[26]優(yōu)化器對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，初始學(xué)習(xí)率設(shè)置為0.001。網(wǎng)絡(luò)訓(xùn)練最大迭代次數(shù)為200次，圖4給出了訓(xùn)練過程中損失函數(shù)和總體分類精度在確認(rèn)樣本上的變化情況，最后選擇在確認(rèn)樣本上分類精度最高的模型對測試數(shù)據(jù)進(jìn)行分類。每個樣本空間鄰域大小參照文獻(xiàn)[15]設(shè)置為9×9，即輸入到網(wǎng)絡(luò)中的每個樣本為9×9×B數(shù)據(jù)立方體，其中為B波段數(shù)。

表5 不同卷積核數(shù)量對應(yīng)的總體分類精度

為驗證Res-3D-CNN的有效性，分別與SVM、EMPs[25](Extended morphological profiles)、1D-CNN、去除殘差模塊的淺層三維卷積網(wǎng)絡(luò)(S-3D-CNN)、與本文網(wǎng)絡(luò)結(jié)構(gòu)相同但未加入殘差結(jié)構(gòu)的三維卷積網(wǎng)絡(luò)(3D-CNN)進(jìn)行對比分析。其中不同分類算法的訓(xùn)練數(shù)據(jù)、確認(rèn)數(shù)據(jù)、測

試數(shù)據(jù)數(shù)量均相同，即每個類別地物隨機選取200個樣本作為訓(xùn)練數(shù)據(jù)，再從訓(xùn)練數(shù)據(jù)中隨機選取10%作為確認(rèn)數(shù)據(jù)集。SVM的核函數(shù)為高斯徑向基核函數(shù)，核函數(shù)參數(shù)和懲罰系數(shù)采用交叉驗證的方法在確認(rèn)數(shù)據(jù)集上選取最優(yōu)參數(shù)。1D-CNN網(wǎng)絡(luò)結(jié)構(gòu)與文獻(xiàn)[6]中設(shè)置相同。EMPs參數(shù)設(shè)置與文獻(xiàn)[25]中設(shè)置相同。2D-CNN網(wǎng)絡(luò)結(jié)構(gòu)與文獻(xiàn)[9]中設(shè)置相同。1D-CNN、2D-CNN、S-3D-CNN、3D-CNN和Res-3D-CNN均選取在確認(rèn)數(shù)據(jù)集上分類精度最高的模型對測試數(shù)據(jù)進(jìn)行分類，并與真實地物標(biāo)記對比評價精度。

表6 不同卷積核數(shù)量對應(yīng)的訓(xùn)練時間

圖4 訓(xùn)練過程中損失函數(shù)和總體分類精度在確認(rèn)樣本上的變換情況Fig.4 The loss function and the overall accuracy on the validating sample during the training procedure

表7—9分別給出了3組數(shù)據(jù)集對應(yīng)的分類結(jié)果。SVM和1D-CNN僅使用光譜特征進(jìn)行分類，但由于訓(xùn)練樣本數(shù)量有限的原因，1D-CNN的分類精度低于SVM。EMPs和2D-CNN均能夠綜合利用空-譜特征進(jìn)行分類，因此總體分類精度(overall accuracy,OA)、平均分類精度(average accuracy,AA)和Kappa系數(shù)較SVM和1D-CNN有較為明顯的提升。這是由于單純利用光譜特征分類存在“同物異譜,異物同譜”問題，而綜合利用空-譜特征進(jìn)行分類，加入了空間約束，因此能夠改善分類效果。使用2個三維卷積層、2個池化層和一個全連接層的S-3D-CNN在3組數(shù)據(jù)集上，較EMPs和2D-CNN算法在總體分類精度、平均分類精度和Kappa系數(shù)均略有提升，這說明使用三維卷積網(wǎng)絡(luò)能夠更好地利用高光譜影像的三維空-譜特征，但由于訓(xùn)練樣本數(shù)量較少，精度提升效果不明顯。進(jìn)一步增加三維卷積層數(shù)，使用7個三維卷積層、2個池化層和一個全連接層的深層網(wǎng)絡(luò)(與本文網(wǎng)絡(luò)層數(shù)相同，但未引入殘差結(jié)構(gòu))，3D-CNN的網(wǎng)絡(luò)結(jié)構(gòu)相比于S-3D-CNN更復(fù)雜，但分類精度反而下降。這說明在訓(xùn)練樣本有限的情況下，用于高光譜影像分類的三維卷積網(wǎng)絡(luò)也存在退化現(xiàn)象。為克服網(wǎng)絡(luò)退化現(xiàn)象對分類精度的影響，同時利用深層網(wǎng)絡(luò)提取更加抽象的特征來改善高光譜影像的整體分類效果，本文在深層網(wǎng)絡(luò)中引入殘差學(xué)習(xí)，構(gòu)建了Res-3D-CNN，并在3組數(shù)據(jù)集上，OA、AA和Kappa系數(shù)相比于其他方法均有明顯提高，例如Pavia大學(xué)數(shù)據(jù)集，Res-3D-CNN的OA相比SVM、EMPs、1D-CNN和2D-CNN分別提高了7.14%、5.30%、10.13%和4.19%；Indian Pines數(shù)據(jù)集，Res-3D-CNN的OA相比SVM、EMPs、1D-CNN和2D-CNN分別提高了6.76%、5.87%、10.45%和3.10%；Salinas數(shù)據(jù)集，Res-3D-CNN的OA相比SVM、EMPs、1D-CNN和2D-CNN分別提高了3.86%、1.92%、7.83%和1.99%。

表7 不同算法在Pavia大學(xué)數(shù)據(jù)集的分類結(jié)果

表8 不同算法在Indian Pines數(shù)據(jù)集的分類結(jié)果

表9 不同算法在Salinas數(shù)據(jù)集的分類結(jié)果

圖5—7給出了不同數(shù)據(jù)集上不同算法的分類圖，Res-3D-CNN分類噪聲相比于其他方法更少，獲得了最好的分類效果。事實上，圖5—7的結(jié)果與表7—9的結(jié)果是一致的。雖然Res-3D-CNN在OA、AA和Kappa系數(shù)上相比于其他方法均有明顯提高。但對于不同數(shù)據(jù)集中易于區(qū)分的地物類別，Res-3D-CNN分類效果與其他方法相當(dāng)。如Pavia大學(xué)數(shù)據(jù)集中的第4、5、9類地物，Indian Pines數(shù)據(jù)集中的4、5、9類地物，Salinas數(shù)據(jù)集中的除了第8和15類的其他地物類別，這些地物類別的特征與其他地物類別之間區(qū)分較為明顯，即使使用SVM對光譜特征進(jìn)行分類也能取得很好的分類效果。Res-3D-CNN對于特征相近容易誤分的地物類別的分類精度提升較為明顯，因此能改善總體分類效果。

2.3 訓(xùn)練樣本數(shù)量對分類精度的影響

深度網(wǎng)絡(luò)已經(jīng)被證明對于大規(guī)模數(shù)據(jù)的分類識別非常有效。但相對于高維的數(shù)據(jù)結(jié)構(gòu)，高光譜影像通常能夠提供的標(biāo)注樣本較少。為分析訓(xùn)練樣本數(shù)量對本文算法的影響，從每類地物中分別隨機選取50、100、150、200個樣本作為訓(xùn)練數(shù)據(jù)(仍然從訓(xùn)練樣本中隨機選取10%的樣本作為確認(rèn)數(shù)據(jù))進(jìn)行試驗。不同分類算法在不同數(shù)據(jù)集上的總體分類精度如圖8—10所示。由圖8—10可知在進(jìn)一步減少訓(xùn)練樣本數(shù)量的情況下，Res-3D-CNN的總體分類精度仍高于SVM、EMPs、1D-CNN和2D-CNN算法。

圖5 各算法在Pavia大學(xué)數(shù)據(jù)集上的分類結(jié)果圖及其對應(yīng)的總體分類精度Fig.5 Classification maps and overall accuracy with different methods on the University of Pavia dataset

圖6 各算法在Indian Pines數(shù)據(jù)集上的分類結(jié)果圖及其對應(yīng)的總體分類精度Fig.6 Classification maps and overall accuracy with different methods on the Indian Pines dataset

圖7 各算法在Salinas數(shù)據(jù)集上的分類結(jié)果圖及其對應(yīng)的總體分類精度Fig.7 Classification maps and overall accuracy with different methods on the Salinas dataset

圖8 Pavia大學(xué)數(shù)據(jù)集：不同訓(xùn)練樣本數(shù)目對應(yīng)的總體分類精度Fig.8 Overall accuracy with different number of training samples on the University of Pavia dataset

圖9 IndianPines數(shù)據(jù)集：不同訓(xùn)練樣本數(shù)目對應(yīng)的總體分類精度Fig.9 Overall accuracy with different number of training samples on the Indian Pines dataset

為進(jìn)一步證明Res-3D-CNN在小樣本情況下的有效性，從每類地物中隨機選取20個樣本作為訓(xùn)練數(shù)據(jù)(仍然從訓(xùn)練樣本中隨機選取10%的樣本作為確認(rèn)數(shù)據(jù))進(jìn)行試驗。表10給出了不同算法的總體分類精度，Res-3D-CNN仍然能夠獲得最高的分類精度。這也說明了與SVM和現(xiàn)有的基于深度學(xué)習(xí)的高光譜影像分類方法相比，本文算法即使在小樣本的情況下仍然能夠有效提高分類精度。但此時EMP和2D-CNN在Pavia大學(xué)數(shù)據(jù)集和Salinas數(shù)據(jù)集上的分類精度已經(jīng)接近Res-3D-CNN的分類精度，進(jìn)一步減少標(biāo)記樣本數(shù)量，則無法保證所設(shè)計網(wǎng)絡(luò)模型的優(yōu)勢。因此，為保證Res-3D-CNN的分類效果，分類時每類地物隨機選取的標(biāo)記樣本數(shù)量不應(yīng)少于20個。

圖10 Salinas數(shù)據(jù)集：不同訓(xùn)練樣本數(shù)目對應(yīng)的總體分類精度Fig.10 Overall accuracy with different number of training samples on the Salinas dataset

眾所周知，深度學(xué)習(xí)需要大量的訓(xùn)練樣本，Res-3D-CNN主要從3個方面來解決訓(xùn)練樣本數(shù)量較少時的深度網(wǎng)絡(luò)訓(xùn)練問題。首先，大量研究表明在高光譜影像分類過程中充分考慮空間信息對最終分類結(jié)果的影響，有助于降低分類的不確定性，從而提高分類精度。為此，Res-3D-CNN利用三維卷積網(wǎng)絡(luò)來充分利用高光譜影像的空-譜信息。然后，深度學(xué)習(xí)模型通常需要較多的訓(xùn)練樣本，且經(jīng)常面臨梯度彌散問題，即采用反向傳播算法傳播梯度的時候，隨著傳播深度的增加，梯度的幅度會急劇減小，會導(dǎo)致淺層神經(jīng)元的權(quán)重更新非常緩慢，不能有效學(xué)習(xí)。為此，Res-3D-CNN在三維卷積網(wǎng)絡(luò)中引入殘差學(xué)習(xí)結(jié)構(gòu)，來有效緩解梯度彌散問題，使網(wǎng)絡(luò)的訓(xùn)練變得更加容易。最后，針對訓(xùn)練樣本數(shù)量較少時，深層網(wǎng)絡(luò)容易出現(xiàn)的過擬合現(xiàn)象，Res-3D-CNN采用Dropout[27]正則化方法降低過擬合風(fēng)險。

表10 3組數(shù)據(jù)集中每類隨機選取20個訓(xùn)練樣本對應(yīng)的總體分類精度

3 總結(jié)與展望

本文針對高光譜影像分類高維和小樣本的特點，利用三維卷積提取高光譜影像的三維空-譜特征，并利用殘差學(xué)習(xí)模塊構(gòu)建深層網(wǎng)絡(luò)對高光譜影像進(jìn)行分類。采用Pavia大學(xué)、Indian Pines和Salinas 3組高光譜影像數(shù)據(jù)集進(jìn)行試驗驗證。試驗結(jié)果表明：①三維卷積網(wǎng)絡(luò)能夠直接以高光譜數(shù)據(jù)立方體作為輸入，不需要事先降維預(yù)處理，是一種有效的利用高光譜影像空-譜特征的方法；②在選取較少的訓(xùn)練樣本的情況下，殘差學(xué)習(xí)模塊能夠較好地解決深層網(wǎng)絡(luò)在高光譜影像地物分類時的退化問題，因此，本文構(gòu)建的深層三維卷積網(wǎng)絡(luò)能夠有效改善整體分類效果。

雖然本文構(gòu)建的深層三維卷積網(wǎng)絡(luò)能夠在訓(xùn)練樣本有限的情況下改善高光譜遙感影像地物分類精度，但改善效果隨著訓(xùn)練樣本數(shù)量的減少而下降。進(jìn)一步的研究工作將結(jié)合樣本增強和半監(jiān)督學(xué)習(xí)方法，以期使用更少的訓(xùn)練樣本數(shù)量，獲得更高的分類精度。