廖金雷， 張 磊， 周湘山， 陳洪剛*， 熊淑華， 卿粼波

(1.四川大學(xué)電子信息學(xué)院， 成都 610065； 2.中國(guó)電建集團(tuán)成都勘測(cè)設(shè)計(jì)研究院有限公司， 成都 611130)

植被覆蓋分類是反映生態(tài)系統(tǒng)的重要信息，對(duì)碳循環(huán)、棲息地和生物多樣性以及公共衛(wèi)生研究具有重要意義。高光譜圖像具有圖譜合一的特性，能夠比較準(zhǔn)確地從光譜中捕獲物體間的細(xì)微差別，因而被引入到植被精準(zhǔn)分類與識(shí)別的研究[1-2]中。

中外對(duì)基于高光譜圖像的植被分類的方法進(jìn)行了大量的研究。較為直接的方法是將圖像數(shù)據(jù)視為一組像素與光譜特征相對(duì)應(yīng)的離散信號(hào)，進(jìn)一步利用神經(jīng)網(wǎng)絡(luò)[3]、支持向量機(jī)[4]或多項(xiàng)式邏輯回歸[5]等研究方法進(jìn)行分類。這些方法剝離了像素間的空間相關(guān)性，只利用光譜特征對(duì)植被進(jìn)行分類。但同物異譜、同譜異物現(xiàn)象的存在，限制了的這類方法在分類精度上的進(jìn)一步提升。

相較上述方法，采用空間信息和光譜信息相結(jié)合的特征提取顯然更有利于植被分類[6]。典型代表包括基于結(jié)構(gòu)濾波分類方法，如利用方形鄰域內(nèi)的樣本均值或者方差表征目標(biāo)像素點(diǎn)空間特征[7]；基于形態(tài)學(xué)輪廓分析方法，比如文獻(xiàn)[8]首先采取主成分分析進(jìn)行降維，再采用一系列不同的濾波模板進(jìn)行空間特征提?。灰约盎诙S卷積神經(jīng)網(wǎng)絡(luò)對(duì)高光譜圖像進(jìn)行處理[9]。整體而言，空譜結(jié)合的思路使得植被分類的研究取得了明顯的進(jìn)展。但由于空譜特征分別提取再融合的多過(guò)程設(shè)計(jì)思路，使得網(wǎng)絡(luò)模型十分復(fù)雜。

高光譜圖像是同時(shí)具有兩個(gè)空間維度(寬w、高h(yuǎn))和一個(gè)光譜維度(波段B)的三維立方體，因而使用三維卷積 (three-dimensional convolutional neural networks，3DCNN)對(duì)其進(jìn)行處理不僅模型簡(jiǎn)單，而且能夠更直觀地實(shí)現(xiàn)光譜信息和空間信息的結(jié)合，在高光譜圖像植被分類工作中具有一定的優(yōu)勢(shì)，因而基于3DCNN的方法成為了植被分類研究的新熱點(diǎn)[10]。比如文獻(xiàn)[11]使用原始3DCNN直接處理高光譜立方體，相較于1D-2D模型，提高了分類精確度。另外一些架構(gòu)也被提出用于處理高光譜三維數(shù)據(jù)塊，如多尺度特征提取[12]和半超視覺(jué)[13]。光譜空間殘差網(wǎng)絡(luò)(spectral-spatial residual network，SSRN)[14]將原始3D立方體作為輸入數(shù)據(jù)，光譜和空間殘差塊從高光譜圖像大量的光譜特征和空間上下文中連續(xù)學(xué)習(xí)判別特征。這些方法在處理植被分類問(wèn)題時(shí)，將早期1D、2D CNN兩種模式識(shí)別策略結(jié)合到一個(gè)濾波器中，所需的參數(shù)和層數(shù)更少且具有更高的性能[15]，整體上更適合進(jìn)行高光譜圖像分類。但是，由于高光譜圖像樣本數(shù)量少，而光譜信息量大等特性，使用原始的3D卷積網(wǎng)絡(luò)獲取特征的方法通常會(huì)面臨過(guò)擬合和訓(xùn)練代價(jià)巨大等問(wèn)題。如文獻(xiàn)[11]和文獻(xiàn)[12]都未能達(dá)到較高的分類精度，文獻(xiàn)[14]雖在分類效果上有一定優(yōu)勢(shì)，但由于其巨大的訓(xùn)練，其訓(xùn)練時(shí)間遠(yuǎn)遠(yuǎn)超過(guò)其他算法。

另一方面，植被指數(shù)利用不同遙感波段間數(shù)據(jù)進(jìn)行線性或非線性組合，可以敏銳地捕捉光譜間的差異，并將其放大[16]。近年來(lái)，中外對(duì)結(jié)合植被指數(shù)和卷積神經(jīng)網(wǎng)絡(luò)對(duì)高光譜圖像進(jìn)行分類進(jìn)行了一些嘗試。文獻(xiàn)[17]對(duì)將多種植被指數(shù)組合作為1DCNN的輸入數(shù)據(jù)；文獻(xiàn)[18]在線性支持向量機(jī)上對(duì)比了分別利用CNN和歸一化植被指數(shù)(normalized difference vegetation index，NDVI)兩種特征提取方法進(jìn)行土地覆蓋分類的效果，并驗(yàn)證了植被指數(shù)特征提取方法的有效性。文獻(xiàn)[19]對(duì)比了分別以紅波段、近紅外波段以及NDVI數(shù)據(jù)作為輸入數(shù)據(jù)，在簡(jiǎn)單2DCNN體系結(jié)構(gòu)上的表現(xiàn)，其中利用NDVI在分類結(jié)果中取得最好的結(jié)果。文獻(xiàn)[20]將NDVI二維圖像作為輸入，CNN作為深度學(xué)習(xí)模型，對(duì)水稻生長(zhǎng)階段進(jìn)行估算，并在部分高度的實(shí)驗(yàn)樣本中取得較好結(jié)果。但是總體來(lái)說(shuō)，利用植被指數(shù)方法進(jìn)行分類的方法并沒(méi)能取得具有優(yōu)勢(shì)的分類效果。文獻(xiàn)[17]由于剝離了空間相關(guān)性，該嘗試在分類精度上表現(xiàn)不佳，文獻(xiàn)[18]分別對(duì)比了CNN與植被指數(shù)方法在特征提取階段的有效性，卻未將兩者結(jié)合；文獻(xiàn)[19]與文獻(xiàn)[20]雖將植被指數(shù)數(shù)據(jù)作為2DCNN的輸入，但由于依靠2DCNN無(wú)法從光譜維數(shù)中提取出具有良好鑒別能力的特征圖，兩者均未在分類精度上取得令人滿意的結(jié)果。

由此可見(jiàn)，植被指數(shù)方法和卷積神經(jīng)網(wǎng)絡(luò)對(duì)高光譜植被圖像分類問(wèn)題具有潛力，但是在現(xiàn)階段的研究中，還沒(méi)有將兩者結(jié)合的有效方法。針對(duì)以上問(wèn)題，以植物園數(shù)據(jù)集、IP(indian pines)數(shù)據(jù)集和PU(pavia universty)數(shù)據(jù)集為研究對(duì)象，提出將植被指數(shù)和3DCNN相結(jié)合的方案。將融合植被指數(shù)與光譜主成分?jǐn)?shù)據(jù)作為輸入，利用分塊方法改善傳統(tǒng)三維卷積分類方法存在的過(guò)擬合和訓(xùn)練代價(jià)巨大的缺點(diǎn)，并設(shè)計(jì)了2D-3D卷積結(jié)合的網(wǎng)絡(luò)。期望該方法可以在取得較好的分類效果的同時(shí)，減小訓(xùn)練和處理需要的時(shí)間成本。

1 提出方法

1.1 整體結(jié)構(gòu)

本文中提出的基于高光譜圖像的植被分類方法，其整體框架結(jié)構(gòu)如圖1所示。

圖1 融合植被指數(shù)的3D-2D-CNN高光譜圖像植被分類方法整體框圖Fig.1 Block diagram of 3D-2D-CNN hyperspectral image vegetation classification method with vegetation index fusion

將待處理的高光譜圖像看作寬度為w、高度為h和光譜維度波段數(shù)為B的三維立方體，記作X∈Rh×w×b。

首先采用本文提出的融合植被指數(shù)的特征提取方法，對(duì)初始數(shù)據(jù)進(jìn)行預(yù)處理；然后將預(yù)處理得到的數(shù)據(jù)塊依次送入訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行分類；最后網(wǎng)絡(luò)的輸出為分類結(jié)果。

1.2 融合植被指數(shù)的特征提取方法

本文方法，融合了植被指數(shù)特征與主成分?jǐn)?shù)據(jù)特征。主要過(guò)程包括數(shù)據(jù)整理、植被指數(shù)提取、波段選擇(主成分分析)、特征融合、數(shù)據(jù)分塊等。

首先使用植被指數(shù)相關(guān)定義，先計(jì)算提取得到其植被指數(shù)數(shù)據(jù)，然后利用主成分分析法(principal components analysis，PCA)對(duì)其進(jìn)行波段選擇得到主成分?jǐn)?shù)據(jù)；將植被指數(shù)數(shù)據(jù)與波段選擇后的降維數(shù)據(jù)拼接融合得到新的聯(lián)合數(shù)據(jù)；最后將聯(lián)合數(shù)據(jù)切塊成為重疊的若干小數(shù)據(jù)塊。至此，預(yù)處理步驟完成。具體各階段處理方法介紹如下。

1.2.1 植被指數(shù)提取

植被對(duì)紅外波段(R)吸收強(qiáng)烈，而近紅外波段(near infrared,NIR)反射強(qiáng)烈，捕捉兩者之間的差異相比于單個(gè)波段更敏感。植被指數(shù)則是根據(jù)綠色植被的光譜特性，將紅外波段(R)與近紅外波段(NIR)數(shù)據(jù)進(jìn)行線性或者非線性組合獲取的數(shù)據(jù)，因?yàn)槠淇梢院?jiǎn)單且有效地對(duì)地表植被情況進(jìn)行度量而被用于植被分類的研究中。圖2所示為植物園數(shù)據(jù)集包括的13種植被光譜曲線。

圖2 植被光譜曲線Fig.2 Vegetation spectral curve

通過(guò)觀察圖2可以發(fā)現(xiàn)，桑樹(shù)和槐樹(shù)、樟樹(shù)和樸樹(shù)、天竺桂和松樹(shù)及木芙蓉、燈臺(tái)樹(shù)和桉樹(shù)的光譜曲線具有較高的相似性，利用單一的光譜數(shù)據(jù)進(jìn)行分類容易造成混淆。因此引入植被指數(shù)的特征和光譜特征進(jìn)行融合后分類，以有效提取植被的特征信息。選擇經(jīng)過(guò)實(shí)踐證實(shí)并且得到廣泛應(yīng)用的歸一化植被指數(shù) NDVI、差值植被指數(shù)(difference vegetation index,DVI)、比值植被指數(shù)(ratio vegetation index,RVI)[20]。

(1)比值植被指數(shù) RVI 表示綠色植被在紅外與近紅外波段上的反射率ρ的比值，即

(1)

(2)歸一化植被指數(shù)NDVI為近紅外波段反射率和紅外波段反射率差值與其和值的比值，即

(2)

(3)差值植被指數(shù) DVI 定義為近紅外波段和紅外波段反射率的差值，即

DVI=ρNIR-ρR

(3)

許多光譜波段具有相似的紋理，即使經(jīng)過(guò)主成分分析后光譜數(shù)據(jù)依然存在信息冗余，因而采用植被指數(shù)對(duì)近紅外波段與紅外波段間顯著的差異特征進(jìn)行提取。根據(jù)植被指數(shù)定義，選取k組波段計(jì)算得到w×h×k植被指數(shù)數(shù)據(jù)。借助植被指數(shù)特征的有效性，在后續(xù)的波段選擇過(guò)程中可以減少至更少的光譜波段數(shù)，進(jìn)而降低3D卷積過(guò)程中的計(jì)算量。

1.2.2 波段選擇

在大多數(shù)情況下光譜維數(shù)遠(yuǎn)遠(yuǎn)大于空間鄰域，導(dǎo)致了眾所周知的維數(shù)災(zāi)難——即當(dāng)樣本數(shù)量有限時(shí)，隨著特征維數(shù)的增加分類精度反而下降。為緩和高維性，有策略地進(jìn)行波段選擇，同時(shí)剔除光譜冗余、壓縮數(shù)據(jù)是十分必要的?，F(xiàn)采用主成分分析法對(duì)圖像進(jìn)行數(shù)據(jù)降維，篩選提取包含有效光譜信息特征的波段，將光譜波段由D維壓縮至B維，得到壓縮后的w×h×B數(shù)據(jù)立方體。

1.2.3 特征融合

將植被指數(shù)數(shù)據(jù)與對(duì)應(yīng)像元的主成分波段數(shù)據(jù)進(jìn)行拼接，融合成尺寸為w×h×(k+B)的新三維數(shù)據(jù)塊，特征融合后的三維數(shù)據(jù)塊同時(shí)保留了空間光譜特征，其中光譜特征融合了更為敏感的植被指數(shù)特性。

1.2.4 數(shù)據(jù)分塊

將新融合的三維特征數(shù)據(jù)塊分成若干重疊的S×S×(k+B)立方體小塊，分塊后小塊寬度與高度均為S，以中心像素的標(biāo)簽決定小塊的真值標(biāo)簽。該步驟為后續(xù)特征融合提取過(guò)程同時(shí)提供了相鄰空間與相鄰波段間的光譜信息，并且忽略了對(duì)分類判別幫助不大的非相鄰空間信息。該過(guò)程將巨大尺寸的三維圖像數(shù)據(jù)進(jìn)一步切分，將小立方體塊視作新的實(shí)驗(yàn)樣本，并依次送入CNN網(wǎng)絡(luò)訓(xùn)練。

1.3 3D-2D-CNN網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)(圖1)，主要包括三個(gè)三維卷積層(three dimensional convolution layer， conv3D)、一個(gè)二維卷積層(two dimensional convolution layer，conv2D)、兩個(gè)全連接層(fully connected layers，F(xiàn)C)與softmax分類器，網(wǎng)絡(luò)的輸出為分類結(jié)果。下面以IP公開(kāi)數(shù)據(jù)集的參數(shù)設(shè)置為例，展示3D-2D-CNN網(wǎng)絡(luò)結(jié)構(gòu)的具體過(guò)程。

輸入數(shù)據(jù)塊大小為15+3，25×25(表示空間域大小為25像素×25像素，圖層包括15層主成分?jǐn)?shù)據(jù)層和3層植被指數(shù)層)。

首先對(duì)輸入的數(shù)據(jù)塊進(jìn)行3D卷積，以同時(shí)對(duì)融合植被指數(shù)的光譜信息與空間信息進(jìn)行特征學(xué)習(xí)。第一卷積層的濾波器尺寸參數(shù)設(shè)置為8，3×3×7；第二卷積層的濾波器尺寸參數(shù)設(shè)置為16，3×3×5；第三層卷積層的濾波器尺寸參數(shù)設(shè)置為32，3×3×3，三層3D卷積層步長(zhǎng)均設(shè)置為(1,1,1)，并采用relu激活函數(shù)。輸入圖像塊與濾波器3D卷積后得到了尺寸為的新特征圖。

緊接著對(duì)卷積后數(shù)據(jù)進(jìn)行整形再對(duì)其進(jìn)行2D卷積以對(duì)空間信息進(jìn)行充分的再提取。經(jīng)過(guò)3D卷積的新特征圖先通過(guò)Reshape函數(shù)整形成二維數(shù)據(jù)，然后經(jīng)過(guò)與參數(shù)尺寸設(shè)置為64，3×3的2D濾波器進(jìn)行卷積。

然后設(shè)計(jì)了兩層全連接層以規(guī)避單層有時(shí)無(wú)法解決的非線性問(wèn)題，設(shè)置神經(jīng)單元結(jié)點(diǎn)數(shù)分別為256與128，并采用relu作為激勵(lì)函數(shù)來(lái)促進(jìn)網(wǎng)絡(luò)的稀疏性，并緩解反向傳播時(shí)的梯度彌散問(wèn)題。全連接層之后分別緊接參數(shù)設(shè)置為0.4的Dropout層，以緩解由于訓(xùn)練樣本過(guò)少造成的過(guò)擬合問(wèn)題。

最后采用softmax分類器實(shí)現(xiàn)對(duì)植被的分類。

網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示。在訓(xùn)練時(shí)，每次讀取樣本數(shù)(batch_size)為256，學(xué)習(xí)率(lr)為0.001，迭代次數(shù)為100個(gè)epoch。

表1 網(wǎng)絡(luò)參數(shù)設(shè)置表

二維卷積通常用于提取空間域的特征，為了增強(qiáng)特征表示能力，依次將各波段光譜作為通道信息參與特征提取的制作——所有波段都參與了卷積的計(jì)算，提取大量涉及光譜信息的空間特征作為訓(xùn)練通道，為后續(xù)層提供了豐富的空間特征。在該模塊中，依據(jù)內(nèi)部信息對(duì)空間特征進(jìn)行捕獲，同時(shí)在空間域和頻帶域?qū)Ω魈卣鬟M(jìn)行量化。

在此基礎(chǔ)上將卷積運(yùn)算應(yīng)用于三維塊中，以自上而下、從左到右的順序獲取空間光譜斑塊和三維卷積核的積分。顯然隨著參數(shù)的增加，復(fù)雜性會(huì)逐漸增大，會(huì)導(dǎo)致更多的訓(xùn)練時(shí)間和過(guò)擬合問(wèn)題。使用卷積核尺寸較小的簡(jiǎn)化結(jié)構(gòu)，側(cè)重于提取緊鄰于中心像素的空間與波段間特征。

2 實(shí)驗(yàn)結(jié)果與分析

本文中網(wǎng)絡(luò)使用2D、3D卷積塊以擴(kuò)展空間信息特征和光譜信息，其中3D卷積融合鄰近頻帶信息，2D卷積則獲取豐富的空間卷積特征，有效提高了模型的效率同時(shí)克服過(guò)擬合的問(wèn)題。

以植物園數(shù)據(jù)集、IP公開(kāi)數(shù)據(jù)集與PU公開(kāi)數(shù)據(jù)集為實(shí)驗(yàn)樣本，對(duì)設(shè)計(jì)的2D-3D卷積相結(jié)合的深度網(wǎng)絡(luò)效果進(jìn)行驗(yàn)證。

2.1 數(shù)據(jù)描述

使用植物園數(shù)據(jù)集與對(duì)所提出的基于3DCNN的高光譜圖像分類方法進(jìn)行實(shí)驗(yàn)。

2.1.1 植物園數(shù)據(jù)集

植物園數(shù)據(jù)集由無(wú)人機(jī)于180 m飛行高度采集，空間分辨率為0.075 m，覆蓋光譜范圍400～1 000 nm，光譜分辨率為(3.5±0.5) nm，采集波段數(shù)175個(gè)。

選擇紅外范圍內(nèi)780～800 nm波段、與近紅外范圍內(nèi)859～874 nm的波段，將兩個(gè)范圍波段數(shù)據(jù)分別均分為三組再兩兩組合，形成三組待處理數(shù)據(jù)。接著依次求得每一像元植被指數(shù)數(shù)據(jù)。

數(shù)據(jù)集依據(jù)實(shí)地調(diào)查的植被種類經(jīng)緯度坐標(biāo)和圖像選取法，使用ENVI完成對(duì)圖像的標(biāo)注。標(biāo)注的植被種類和標(biāo)注具體情況如表2所示。

表2 物種類別與標(biāo)記個(gè)數(shù)

2.1.2 IP數(shù)據(jù)集

IP數(shù)據(jù)集由機(jī)載可視紅外成像光譜儀在印第安納州西北部上空拍攝。其截取在空間域上145 像素×145像素大小進(jìn)行標(biāo)注；在光譜域上則由 224 個(gè)光譜反射率波段組成，其波長(zhǎng)范圍為 0.4～2.5 μm。其中，可用的地面真相為 16 個(gè)類，實(shí)驗(yàn)中剔除20個(gè)吸水帶，選用剩下200個(gè)波段數(shù)據(jù)作為研究對(duì)象。

2.1.3 PU數(shù)據(jù)集

PU數(shù)據(jù)集是由德國(guó)的機(jī)載反射光學(xué)光譜成像儀(ROSIS-03)在意大利的帕維亞城拍攝成像，它在空間域上由 610 像素×340 像素組成；去掉吸水帶后，光譜域上由 103 個(gè)光譜波段構(gòu)成，其波長(zhǎng)范圍為 0.43～0.86 μm。其中，地面真相為9個(gè)類，實(shí)驗(yàn)中使用的數(shù)據(jù)集光譜波段總數(shù)為 103 條。

2.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)環(huán)境為：Intel(R)Core(TM)i5-7500 CPU，8 G 安裝內(nèi)存，主頻為3.40 GHz 處理器，顯卡為 NVIdIA GTX 2080Ti，CUDA 版本 10.0，深度學(xué)習(xí)平臺(tái)采用python3.6的TensorFlow1.14.0框架。

為了更好地衡量分類準(zhǔn)確度，采用總體精度(overall accuracy,OA)、平均精度(average accuracy,AA)與Kappa系數(shù)(Kappa accuracy，KA)作為定量化評(píng)價(jià)標(biāo)準(zhǔn)。其中總體精度OA表示被正確分類的類別像元數(shù)與總的類別個(gè)數(shù)的比值，平均精度 AA 表示各類別的平均準(zhǔn)確率，Kappa 系數(shù) KA 表示分類與完全隨機(jī)的分類產(chǎn)生錯(cuò)誤減少的比例。

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法各部分的有效性，以IP數(shù)據(jù)集為例，對(duì)植被指數(shù)融合模塊、網(wǎng)絡(luò)各層的合理性進(jìn)行分析。隨機(jī)抽取其中10%作為訓(xùn)練樣本，其余作為測(cè)試集合。

實(shí)驗(yàn)結(jié)果如表3所示，當(dāng)網(wǎng)絡(luò)僅采用2DCNN或3DCNN的時(shí)候，OA分別僅為93.94%與96.30%，當(dāng)采用兩者結(jié)合的網(wǎng)絡(luò)OA達(dá)到了97.13%，說(shuō)明3D-2D結(jié)合對(duì)空譜信息的更充分利用起到了促進(jìn)作用。當(dāng)融合了植被指數(shù)后，采用2DCNN和3DCNN的分類效果均有不同程度的提升，OA分別達(dá)到了96.12%和96.97%，這是因?yàn)橹脖恢笖?shù)表征的指定波段間的差異提供了更豐富的信息，說(shuō)明了植被指數(shù)部分的有效性。當(dāng)三者同時(shí)采用，效果最好，OA達(dá)到98.11%。

表3 通過(guò)IP數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)分析

2.4 小樣本測(cè)試

在小樣本訓(xùn)練集下的分類性能是現(xiàn)階段高光譜分類方法問(wèn)題中重點(diǎn)關(guān)注的問(wèn)題。為了評(píng)估本文方法在小樣本問(wèn)題中的表現(xiàn)，在多個(gè)訓(xùn)練集中隨機(jī)抽取一定比例的樣本作為訓(xùn)練集，其余樣本作為測(cè)試集來(lái)進(jìn)行小樣本測(cè)試。

對(duì)于植物園數(shù)據(jù)集，隨機(jī)選取1%、3%、5%、7%、10%作為訓(xùn)練樣本；對(duì)于IP數(shù)據(jù)集，隨機(jī)選取1%、3%、5%、7%、10%作為訓(xùn)練樣本；對(duì)于PU數(shù)據(jù)集，隨機(jī)選取0.5%、1%、2%、3%、5%作為訓(xùn)練樣本。

實(shí)驗(yàn)結(jié)果如表4～表6所示?？梢钥闯霰疚姆椒ň哂辛己玫男颖痉诸愋阅?。在植物園數(shù)據(jù)集中，當(dāng)訓(xùn)練樣本為3%時(shí)OA達(dá)到90.08%，當(dāng)訓(xùn)練樣本為時(shí)OA達(dá)到。在兩個(gè)公開(kāi)數(shù)據(jù)集中，在PU數(shù)據(jù)集中表現(xiàn)更佳，以1%的訓(xùn)練樣本OA即可達(dá)到94.94%，5%的訓(xùn)練樣本即可達(dá)到99.08%，這是由于PU數(shù)據(jù)的類別樣本相對(duì)均衡。在IP數(shù)據(jù)集中，10%的訓(xùn)練樣本OA可以達(dá)到98.06%。

表4 植物園數(shù)據(jù)集在小樣本情況下的分類結(jié)果

表5 IP數(shù)據(jù)集在小樣本情況下的分類結(jié)果

表6 PU數(shù)據(jù)集在小樣本情況下的分類結(jié)果

2.5 與其他模型的比較

為了驗(yàn)證本文方法的有效性，將與以下3種經(jīng)典的3DCNN高光譜圖像方法作為對(duì)比：Li[11]提出的基于3DCNN的高光譜分類方法，He[12]提出的多尺度的三維卷積高光譜分類方法，基于光譜空間殘差網(wǎng)絡(luò)的3D深度學(xué)習(xí)框架分類方法(spectral-spatial residual network，SSRN)[14]。實(shí)驗(yàn)在IP數(shù)據(jù)集與PU數(shù)據(jù)集上進(jìn)行，采用總體精度OA、 平均精度 AA與Kappa系數(shù) KA作為定量化評(píng)價(jià)標(biāo)準(zhǔn)。

表7為定量分析各分類模型針對(duì)IP數(shù)據(jù)集的分類結(jié)果和處理時(shí)間的結(jié)果，選取10%樣本進(jìn)行訓(xùn)練，其余樣本作為測(cè)試集。

表7 針對(duì)IP數(shù)據(jù)集的分類結(jié)果和處理時(shí)間

對(duì)比分類結(jié)果，直接將未加處理的數(shù)據(jù)塊作為網(wǎng)絡(luò)的輸入的3DCNN[11]表現(xiàn)最差，總體精度OA僅為85.05%，利用多尺度的Multi-scale 3DCNN[11]次之總體精度OA提升至91.55%，在原始高光譜基礎(chǔ)上加入了上下文聯(lián)系的SSRN[14]較好，數(shù)據(jù)特征融合植被指數(shù)并采用3D-2D結(jié)合網(wǎng)絡(luò)的本文方法取得的效果最好，在總體精度OA、平均精度AA和Kappa系數(shù)KA上均取得了最優(yōu)的結(jié)果。說(shuō)明了本文方法分類性能的有效性。

對(duì)比處理時(shí)間，SSRN[14]分類效果最接近且小于本文方法的情況下，訓(xùn)練與測(cè)試所用的處理時(shí)間卻分別達(dá)到了590.66 s與7.88 s，遠(yuǎn)遠(yuǎn)大于了本文方法的21.12 s和2.18 s。這是由于SSRN[14]以原始3D立方體直接作為網(wǎng)絡(luò)輸入數(shù)據(jù)，并且采用了更深的網(wǎng)絡(luò)，所以處理時(shí)間較長(zhǎng)。而一方面，本文方法只使用了一層2D和三層3D卷積層，模型更簡(jiǎn)單，因而計(jì)算量更小，減少了處理時(shí)間。另一方面，本文方法通過(guò)融合植被指數(shù)特征的方式，在保障分類效果的同時(shí)可以對(duì)光譜數(shù)據(jù)進(jìn)行波段選擇，篩出對(duì)分類貢獻(xiàn)較小的冗余波段信息，減小了作為網(wǎng)絡(luò)輸入數(shù)據(jù)塊的尺寸，因?yàn)橛?xùn)練時(shí)間與測(cè)試時(shí)間得以進(jìn)一步減少。

第二個(gè)實(shí)驗(yàn)在PU數(shù)據(jù)集上進(jìn)行，選取5%樣本進(jìn)行訓(xùn)練，在其余樣本作為測(cè)試集。表8所示為相應(yīng)定量分析的結(jié)果。同樣地，在4種分類方法中，3DCNN[11]與Multi-scale 3DCNN[12]的分類效果表現(xiàn)較差，SSRN[14]分類效果與本文方法接近，但處理訓(xùn)練時(shí)間與測(cè)試時(shí)間均遠(yuǎn)遠(yuǎn)大于本文方法。在PU數(shù)據(jù)集上，本文方法OA、AA、KA在4種分類方法中均達(dá)到了最高，且處理時(shí)間較分類效果與本文方法接近的SSRN[14]更短。

表8 針對(duì)PU數(shù)據(jù)集的分類結(jié)果和處理時(shí)間

3 結(jié)論

針對(duì)高光譜圖像分類問(wèn)題中圖像尺寸大難以處理、植被相鄰波段信息冗余、2DCNN光譜維度間信息特征提取不全、3DCNN計(jì)算量大等困難，提出了融合植被指數(shù)的3D-2D-CNN高光譜圖像植被分類方法。

該方法包括植被指數(shù)提取、波段選擇、指數(shù)特征與主成分?jǐn)?shù)據(jù)的特征融合、數(shù)據(jù)分塊的多階段預(yù)處理過(guò)程，以及3D-2D結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了基于高光譜圖像的植被分類。

通過(guò)本文提出的融合植被指數(shù)的特征提取方法，將輸入數(shù)據(jù)中融合了主成分波段特征與植被指數(shù)信息，不僅提升了其在分類效果上的表現(xiàn)，而且不犧牲分類性能的基礎(chǔ)上，減小了其計(jì)算量。另外，該方法還通過(guò)本文設(shè)計(jì)的3D-2D結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在分類過(guò)程中充分利用了空譜信息，取得了良好的分類效果。

在通過(guò)IP數(shù)據(jù)集對(duì)方法合理性的分析中，可以發(fā)現(xiàn)當(dāng)植被指數(shù)融合模塊、2DCNN與3DCNN三者同時(shí)采用時(shí)，分類效果最佳。

在植物園數(shù)據(jù)集、IP數(shù)據(jù)集與PU數(shù)據(jù)集上進(jìn)行的小樣本測(cè)試實(shí)驗(yàn)結(jié)果中表明，本文方法在小樣本問(wèn)題中具有良好的表現(xiàn)。

在針對(duì)IP數(shù)據(jù)集與PU數(shù)據(jù)集進(jìn)行的與其他3種經(jīng)典3D分類模型比較實(shí)驗(yàn)結(jié)果中表明，本文方法減小運(yùn)行時(shí)間的同時(shí)提高了分類精度，顯示了其有效性。