朱壽紅，王勝利，舒幫榮

(江蘇師范大學(xué)地理測(cè)繪與城鄉(xiāng)規(guī)劃學(xué)院，江蘇 徐州 221116)

基于深度學(xué)習(xí)的高光譜遙感影像分類(lèi)

朱壽紅*，王勝利，舒幫榮

(江蘇師范大學(xué)地理測(cè)繪與城鄉(xiāng)規(guī)劃學(xué)院，江蘇 徐州 221116)

從傳統(tǒng)高光譜遙感影像分類(lèi)的不足出發(fā)，提出一種空-譜信息與深度學(xué)習(xí)相結(jié)合的影像分類(lèi)方法。利用深度學(xué)習(xí)的常用模型—深度置信網(wǎng)絡(luò)(DBN)對(duì)高光譜影像進(jìn)行了基于空-譜特征的分類(lèi)。首先利用主成分分析(PCA)對(duì)原始影像進(jìn)行降維，再對(duì)主成分圖影像塊內(nèi)的所有像素按照窗口大小進(jìn)行重組，并用排序的方法堆棧融合為空-譜特征。最后利用得到的空-譜特征作為DBN的輸入對(duì)高光譜影像進(jìn)行分類(lèi)。通過(guò)在2組高光譜數(shù)據(jù)上進(jìn)行試驗(yàn)，并與傳統(tǒng)的分類(lèi)算法進(jìn)行比較，發(fā)現(xiàn)本文方法能較好地提高分類(lèi)精度。

高光譜遙感；空-譜特征；深度學(xué)習(xí)；限制玻爾茲曼機(jī)；深度置信網(wǎng)絡(luò)；影像分類(lèi)

1 引 言

影像分類(lèi)作為遙感信息提取的重要手段，受到學(xué)者們的廣泛研究并取得一定成果[1～4]。但由于高光譜影像圖譜合一、高維度和數(shù)據(jù)中非線性成分的存在，傳統(tǒng)分類(lèi)方法難以滿(mǎn)足其分類(lèi)的需求，探索新的分類(lèi)理論和方法具有十分重要的意義。在常用的高光譜影像分類(lèi)方法中，支持向量機(jī)(Support Vector machine，SVM)是精度較高、應(yīng)用廣泛的模型之一[4～7]。而近年來(lái)，深度學(xué)習(xí)[8～9]成為解決影像分類(lèi)所面臨的高維數(shù)據(jù)和算法泛化能力差問(wèn)題的一個(gè)有力工具，并在影像分類(lèi)領(lǐng)域取得了很好的效果[10～13]。

為了進(jìn)一步提高高光譜影像分類(lèi)精度，應(yīng)將光譜信息和空間信息充分結(jié)合起來(lái)，尋找一種適合高維數(shù)據(jù)處理的分類(lèi)算法。盡管深度學(xué)習(xí)在影像分類(lèi)方面取得了一些成果，但數(shù)據(jù)輸入維度、網(wǎng)絡(luò)優(yōu)化算法和模型自身參數(shù)設(shè)置比較復(fù)雜，目前還沒(méi)有統(tǒng)一可供參考的標(biāo)準(zhǔn)。因此，本文引入空-譜特征利用深度學(xué)習(xí)進(jìn)行高光譜影像分類(lèi)，通過(guò)多次試驗(yàn)尋找合適的參數(shù)：首先，利用主成分分析(Principal Component Analysis，PCA)對(duì)原始影像進(jìn)行降維；然后，對(duì)主成分圖影像塊內(nèi)的所有像素按照窗口大小進(jìn)行重組，并用排序的方法堆棧融合得到旋轉(zhuǎn)不變的空-譜特征；最后，將空-譜特征作為深度置信網(wǎng)絡(luò)的輸入進(jìn)行分類(lèi)。采用2組高光譜數(shù)據(jù)進(jìn)行試驗(yàn)的結(jié)果表明，與傳統(tǒng)分類(lèi)方法相比，本文方法可以獲得較高的分類(lèi)精度。

2 深度置信網(wǎng)絡(luò)(Deep Belief Network，DBN)

2.1 限制玻爾茲曼機(jī)(Restricted Boltzmann Machines，RBM)

RBM[14]是對(duì)稱(chēng)連接且無(wú)反饋機(jī)制的兩層隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，層間全連接，層內(nèi)無(wú)連接，如圖1所示。

圖1 限制玻爾茲曼機(jī)模型

假設(shè)一個(gè)具有n個(gè)可視節(jié)點(diǎn)和m個(gè)隱藏節(jié)點(diǎn)RBM的狀態(tài)隨機(jī)變量為(v，h；θ)，則其能量函數(shù)如式(1)所示：

(1)

式中，θ=(Wij，ai，bj)，Wij為層間節(jié)點(diǎn)連接權(quán)重，ai為可視節(jié)點(diǎn)i的偏置，bj為隱藏節(jié)點(diǎn)j的偏置。RBM的學(xué)習(xí)過(guò)程是確定參數(shù)θ=(Wij，ai，bj)的過(guò)程，又稱(chēng)編碼解碼。

2.2 DBN模型

多層RBM和后向傳播算法(BP)構(gòu)成DBN模型[15]，如圖2所示。其訓(xùn)練過(guò)程包括預(yù)訓(xùn)練、編碼解碼和微調(diào)三個(gè)過(guò)程。預(yù)訓(xùn)練階段，采用貪婪學(xué)習(xí)算法[9]調(diào)整每層RBM參數(shù)，一層RBM訓(xùn)練完成后，將其輸出結(jié)果作為輸入數(shù)據(jù)訓(xùn)練下一層RBM，直到預(yù)訓(xùn)練結(jié)束；然后，利用監(jiān)督學(xué)習(xí)將重構(gòu)誤差后向傳播，微調(diào)θ。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，微調(diào)θ能夠提高訓(xùn)練效率，避免網(wǎng)絡(luò)陷入局部最優(yōu)解。

圖2 DBN模型

3 空-譜特征提取

高光譜影像各個(gè)波段間存在較強(qiáng)的相關(guān)性，存在信息冗余，因此在提取空間特征前需要對(duì)影像進(jìn)行PCA降維。假定高光譜影像I在PCA降維后保留d個(gè)波段用于分類(lèi)試驗(yàn)，那么影像上任意像素x0的空-譜特征可由下式進(jìn)行構(gòu)造

U={f0，sort([f1，f2，…，fm2-(r+1)])}∈Rd×(m×m)

(2)

圖3 空-譜特征提取過(guò)程

由于遙感影像在成像過(guò)程中易受到外界環(huán)境及傳感器自身增益變化等因素的影響，使得同物異譜和異物同譜現(xiàn)象廣泛存在，給遙感影像地物分類(lèi)與提取帶來(lái)了一定的挑戰(zhàn)。相關(guān)研究表明將空間和光譜信息有效結(jié)合起來(lái)有利于分類(lèi)精度的提高[7，10，16]。本文在引入空間信息的同時(shí)，充分考慮了影像地物類(lèi)內(nèi)差異小和類(lèi)間差異大的特點(diǎn)，通過(guò)找到與中心像元灰度值差值最大的某幾個(gè)像元并進(jìn)行刪除，進(jìn)一步拉大不同地物的特征可分性，減小錯(cuò)分現(xiàn)象。試驗(yàn)中，刪除像元的個(gè)數(shù)隨著窗口大小而改變，且刪去的像元個(gè)數(shù)占鄰域像元總數(shù)的1/4，如3×3大小的窗口刪除的像元個(gè)數(shù)為2，7×7大小的窗口刪除的像元個(gè)數(shù)為12。

4 試驗(yàn)與分析

在MATLAB R2014a平臺(tái)下，利用DBN模型對(duì)2組高光譜數(shù)據(jù)進(jìn)行分類(lèi)試驗(yàn)，通過(guò)整體分類(lèi)精度(overall accuracy，OA)和Kappa系數(shù)對(duì)分類(lèi)效果進(jìn)行評(píng)價(jià)。試驗(yàn)分析了DBN不同模型深度、隱層神經(jīng)元個(gè)數(shù)和引入空間信息對(duì)分類(lèi)精度的影響，并和其他分類(lèi)方法進(jìn)行對(duì)比分析。

4.1 試驗(yàn)數(shù)據(jù)

選取Pavia University和Pavia Center兩幅高光譜影像進(jìn)行試驗(yàn)。Pavia數(shù)據(jù)是ROSIS-03傳感器在意大利Pavia市獲取的影像，共115個(gè)波段，電磁波覆蓋范圍為 0.43 μm～0.86 μm，空間分辨率為 1.3 m。其中Pavia University空間大小為610像素×340像素，受電磁干擾和水汽影響，去掉12個(gè)噪聲波段保留103個(gè)波段；Pavia Center空間大小為 1 096像素×492像素，去掉13個(gè)噪聲波段，選取102個(gè)波段進(jìn)行分類(lèi)試驗(yàn)。試驗(yàn)中這2幅影像的訓(xùn)練集和測(cè)試集數(shù)目分配如表1所示。

2幅影像的訓(xùn)練集和測(cè)試集信息 表1

4.2 RBM層間節(jié)點(diǎn)連接權(quán)重

RBM層間連接權(quán)重Wij可視為一個(gè)光譜噪聲濾波器，代表對(duì)不同波段信息的重視程度[11]。2組數(shù)據(jù)對(duì)應(yīng)的RBM隱層節(jié)點(diǎn)都設(shè)為40，則每個(gè)隱層節(jié)點(diǎn)將分別有103和102個(gè)連接權(quán)重，對(duì)應(yīng)的RBM可視為40個(gè)濾波器。為了方便可視化，將Wij進(jìn)行折疊，并以二維灰度圖像顯示，如圖4所示。

圖4中灰度值代表Wij中的數(shù)值大小，可以看出，RBM部分隱層節(jié)點(diǎn)對(duì)不同波段的選擇存在明顯差異，不同波段間存在著跳躍，部分波段呈現(xiàn)出類(lèi)似高斯噪聲的擾動(dòng)。這說(shuō)明RBM具備自學(xué)習(xí)能力，可以自適應(yīng)調(diào)節(jié)Wij實(shí)現(xiàn)對(duì)不同影像的特征提取。

4.3 窗口大小和主成分波段對(duì)分類(lèi)精度的影響

針對(duì)圖譜合一的高光譜影像，國(guó)內(nèi)外學(xué)者結(jié)合空間信息取得較好的分類(lèi)效果，如灰度共生矩陣、形態(tài)學(xué)操作和馬爾科夫隨機(jī)場(chǎng)等[11，13，16]。本文對(duì)2組數(shù)據(jù)做PCA降維后，根據(jù)式(2)得到空-譜聯(lián)合特征進(jìn)行分類(lèi)試驗(yàn)。圖5表示不同窗口大小及PCA降維后保留波段數(shù)與OA的關(guān)系曲線圖。

圖5 窗口大小及主成分波段數(shù)目與OA的關(guān)系曲線

從圖5(a)可以看出，窗口增大的同時(shí)OA隨之增大，但增幅逐漸減小。對(duì)于Pavia University數(shù)據(jù)，窗口 7×7時(shí)OA達(dá)到最大；對(duì)于Pavia Center數(shù)據(jù)，窗口為9×9時(shí)OA最大，窗口進(jìn)一步增大時(shí)分類(lèi)精度趨向穩(wěn)定。由此可以得出，選取適當(dāng)?shù)拇翱诖笮?duì)對(duì)象特征的完整表達(dá)、增加特征的可區(qū)分性是至關(guān)重要的。從圖5(b)可以看出，PCA保留波段數(shù)目也是影響OA的一個(gè)重要因素，OA隨著主成分波段數(shù)目的增大而提高，主成分波段為6時(shí)趨于穩(wěn)定。綜合以上分析，最終選取主成分波段數(shù)目為6，大小為7×7的窗口進(jìn)行試驗(yàn)。

4.4 DBN模型參數(shù)對(duì)分類(lèi)精度的影響

網(wǎng)絡(luò)深度和隱層神經(jīng)元個(gè)數(shù)是影響DBN分類(lèi)精度的2個(gè)重要參數(shù)。本文選取網(wǎng)絡(luò)深度為2、3、4、5、6，隱層神經(jīng)元個(gè)數(shù)為20、40、60、80、100分別進(jìn)行訓(xùn)練，學(xué)習(xí)率初值設(shè)置為0.02，之后根據(jù)重構(gòu)誤差進(jìn)行動(dòng)態(tài)調(diào)整。試驗(yàn)時(shí)，將樣本集分為多個(gè)小樣本進(jìn)行分批訓(xùn)練，Pavia University和Pavia Center數(shù)據(jù)每批樣本個(gè)數(shù)分別設(shè)置為100和220。從圖6可以看出，網(wǎng)絡(luò)深度為5，隱層神經(jīng)元個(gè)數(shù)為80是較合適的模型參數(shù)。

圖6 DBN模型參數(shù)與訓(xùn)練誤差關(guān)系圖

4.5 訓(xùn)練樣本數(shù)目對(duì)分類(lèi)精度的影響

針對(duì)2組數(shù)據(jù)，分別隨機(jī)選取5%到30%的地物標(biāo)簽做訓(xùn)練樣本，進(jìn)行10次重復(fù)試驗(yàn)，Kappa系數(shù)的詳細(xì)統(tǒng)計(jì)如圖7所示。通過(guò)每個(gè)箱中心的紅線表示Kappa系數(shù)的中間值，箱型的上下邊緣分別代表第25和75百分位，箱外的上下延伸線分別到Kappa系數(shù)的最大值和最小值處，其中紅色“+”表示異常值。從圖中可以看出，對(duì)于這2組數(shù)據(jù)，共同的趨勢(shì)是Kappa系數(shù)隨著訓(xùn)練樣本增多而提高；此外，在訓(xùn)練樣本數(shù)量小于15%時(shí)，Kappa系數(shù)波動(dòng)較大，且存在異常值。這種現(xiàn)象表明訓(xùn)練樣本的數(shù)量和質(zhì)量對(duì)分類(lèi)結(jié)果的影響至關(guān)重要。

圖7 不同訓(xùn)練樣本數(shù)目對(duì)應(yīng)Kappa系數(shù)的廂型圖

4.6 本文方法和其他分類(lèi)方法的對(duì)比

為了評(píng)定本文方法的優(yōu)劣，與其他5種分類(lèi)方法進(jìn)行了對(duì)比，包括：①基于光譜特征的DBN分類(lèi)法(Spectral)[11]；②基于復(fù)合核的SVM分類(lèi)法(SVM-CK)[3]；③核化的子空間追蹤法(KSSP)[7]；④集成旋轉(zhuǎn)森林和馬爾科夫隨機(jī)場(chǎng)的分類(lèi)法(RoF-MRF)[17]；⑤未排序的DBN空-譜特征分類(lèi)法。5種方法采用相同的訓(xùn)練集和測(cè)試集進(jìn)行比較，如表2所示?？梢钥闯觯?lián)合空-譜特征的分類(lèi)精度明顯高于僅利用光譜信息的分類(lèi)精度。與其他分類(lèi)方法相比，本文方法分類(lèi)精度有一定程度提高，尤其對(duì)于基于排序策略的DBN分類(lèi)，其精度最高，Pavia University數(shù)據(jù)分類(lèi)精度為94.97%，Pavia Center數(shù)據(jù)分類(lèi)精度高達(dá)99.33%，這說(shuō)明引入空間信息增加了特征的可區(qū)分性。此外，本文方法考慮到影像地物類(lèi)內(nèi)差異小的特點(diǎn)，通過(guò)刪除與中心像元灰度值差值最大的部分像元，有效地減小了不同類(lèi)地物誤分的現(xiàn)象，相當(dāng)于在不同類(lèi)地物邊緣處進(jìn)行空間特征提取時(shí)，自適應(yīng)地調(diào)節(jié)了鄰域的大小，最大程度避免將不同類(lèi)地物劃分為一類(lèi)的現(xiàn)象。

2幅影像不同分類(lèi)方法的分類(lèi)精度 表2

本文采用基于DBN的排序空-譜特征分類(lèi)方法的分類(lèi)結(jié)果如圖8和圖9所示。

圖8 Pavia University分類(lèi)結(jié)果

圖9 Pavia Center分類(lèi)結(jié)果

4.7 算法運(yùn)行效率

和SVM等機(jī)器學(xué)習(xí)算法相比，DBN模型往往需要消耗更多的時(shí)間進(jìn)行訓(xùn)練。但在處理大數(shù)據(jù)方面的優(yōu)勢(shì)以及分類(lèi)的高效率，使其受到多數(shù)研究者的青睞。原因在于，影像分類(lèi)實(shí)質(zhì)是矩陣運(yùn)算，而DBN擅長(zhǎng)矩陣運(yùn)算的特性使其比傳統(tǒng)分類(lèi)器(NN和SVM)運(yùn)行效率更高。為了評(píng)定DBN的分類(lèi)效率，選取地物標(biāo)簽的5%～30%作為訓(xùn)練樣本進(jìn)行分類(lèi)試驗(yàn)，并和LIBSVM進(jìn)行對(duì)比，硬件配置為Intel酷睿i5，CPU主頻 3.2 GHz，內(nèi)存 8 GB。從運(yùn)行結(jié)果(如圖10所示)可以看出，隨著訓(xùn)練樣本數(shù)目的增多，DBN的運(yùn)算效率明顯占優(yōu)。

圖10 分類(lèi)效率對(duì)比

5 結(jié) 論

針對(duì)傳統(tǒng)高光譜遙感影像分類(lèi)方法的不足，本文將基于深度學(xué)習(xí)的分類(lèi)器引入此領(lǐng)域，選取合適的DBN參數(shù)對(duì)2組高光譜數(shù)據(jù)進(jìn)行分類(lèi)試驗(yàn)，并和其他分類(lèi)方法進(jìn)行對(duì)比。結(jié)果表明，本文方法提取空間特征時(shí)充分考慮地物樣本的類(lèi)內(nèi)穩(wěn)定性，在不同類(lèi)地物邊緣處最大程度避免誤分，能夠較好地提高高光譜影像分類(lèi)精度，且提取空-譜特征簡(jiǎn)單易行，通過(guò)旋轉(zhuǎn)不變特征消除了原始特征的相關(guān)，算法運(yùn)行效率較高，特征提取能力更強(qiáng)，可以更準(zhǔn)確地挖掘到高光譜影像的空間分布規(guī)律；此外，DBN自帶稀疏編碼功能，在保留影像低層特征的同時(shí)能夠有效降低數(shù)據(jù)冗余。

當(dāng)然，本文方法還存在一些不足。比如，DBN模型結(jié)構(gòu)和參數(shù)設(shè)置是否最優(yōu)還需深入研究；此外，本文對(duì)分類(lèi)精度和訓(xùn)練樣本數(shù)目之間的關(guān)系進(jìn)行了分析，但并沒(méi)有考慮樣本質(zhì)量與分類(lèi)精度的關(guān)系，下一步，將嘗試引入半監(jiān)督分類(lèi)理論，以期得到更好的效果。

[1] 杜培軍，夏俊士，薛朝輝等. 高光譜遙感影像分類(lèi)研究進(jìn)展[J]. 遙感學(xué)報(bào)，2016，20(2)：236～256.

[2] Richards J A，Jia X. Using Suitable Neighbors to Augment the Training Set in Hyperspectral Maximum Likelihood Classification[J]. IEEE Geoscience & Remote Sensing Letters，2008，5(4)：774～777.

[3] Philpott S，Heise L，Mcgrory E，et al. Simultaneous Joint Sparsity Model for Target Detection in Hyperspectral Imagery[J]. IEEE Geoscience & Remote Sensing Letters，2011，8(4)：676～680.

[4] Mountrakis G，Im J，Ogole C. Support vector machines in remote sensing： A review[J]. Isprs Journal of Photogrammetry & Remote Sensing，2011，66(3)：247～259.

[5] 白云海，武文波. 紋理輔助的SAR圖像SVM分類(lèi)[J]. 城市勘測(cè)，2016(6)：60～64.

[6] 譚琨，杜培軍，王小美.基于支持向量機(jī)和多變量分析的高光譜遙感數(shù)據(jù)分類(lèi)[J]. 測(cè)繪通報(bào)，2009，11：37～40.

[7] 楊釗霞，鄒崢嶸，陶超等. 空-譜信息與稀疏表示相結(jié)合的高光譜遙感影像分類(lèi)[J]. 測(cè)繪學(xué)報(bào)，2015，44(7)：775～781.

[8] Hinton G E，Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science，2006，313(5786)：504～507.

[9] 余凱，賈磊，陳雨強(qiáng)等. 深度學(xué)習(xí)的昨天、今天和明天[J]. 計(jì)算機(jī)研究與發(fā)展，2013，50(9)：1799～1804.

[10] 呂啟，竇勇，牛新等. 基于DBN模型的遙感圖像分類(lèi)[J]. 計(jì)算機(jī)研究與發(fā)展，2014，51(9)：1911～1918.

[11] Chen Y，Lin Z，Zhao X，et al. Deep Learning-Based Classification of Hyperspectral Data[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing，2014，7(6)：2094～2107.

[12] 高常鑫，桑農(nóng). 基于深度學(xué)習(xí)的高分辨率遙感影像目標(biāo)檢測(cè)[J]. 測(cè)繪通報(bào)，2014(S1)：108～111.

[13] 劉大偉，韓玲，韓曉勇. 基于深度學(xué)習(xí)的高分辨率遙感影像分類(lèi)研究[J]. 光學(xué)學(xué)報(bào)，2016(4)：306～314.

[14] 樊恒，徐俊，鄧勇等. 基于深度學(xué)習(xí)的人體行為識(shí)別[J]. 武漢大學(xué)學(xué)報(bào)·信息科學(xué)版，2016(4)：492～497.

[15] Hinton G E，Osindero S，Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation，2006，18(7)：1527～1554.

[16] 林雪，彭道黎，黃國(guó)勝等. 結(jié)合多尺度紋理特征的遙感影像面向?qū)ο蠓诸?lèi)[J]. 測(cè)繪工程，2016，25(7)：22～27.

[17] Xia J，Chanussot J，Du P，et al. Spectral─Spatial Classification for Hyperspectral Data Using Rotation Forests With Local Feature Extraction and Markov Random Fields[J]. IEEE Transactions on Geoscience & Remote Sensing，2015，53(5)：2532～2546.

Classification of Hyperspectral Remote Sensing Image Based on Deep Learning

Zhu Shouhong，Wang Shengli，Shu Bangrong

(School of Geography，Geomatics and Planning Jiangsu Normal University，Xuzhou 221116，China)

In order to avoid the problem of being over-dependent on high-dimensional spectral feature in the traditional hyperspectral image classification，a novel approach based on the combination of spatial-spectral feature and deep learning is proposed in this paper. The deep learning common model-deep belief network (DBN) is used to classify the hyperspectral remote sensing images based on spatial-spectral feature. Firstly，we extract the spatial-spectral feature by reorganizing the local image patch with the firstdprincipal components (PCs) into a vector representation，followed by a sorting scheme to make the vector invariant to local image rotation. Secondly，the spatial-spectral feature is used as the input of the DBN for hyperspectral image classification. In addition，experiments using two hyperspectral data show that the proposed method can effectively improve the classification accuracy comparing with traditional classificaton methods.

hyperspectral remote sensing；spatial-spectral feature；deep learning；restricted boltzmann machine；deep belief network；image classification

1672-8262(2017)04-84-06

P236，TP75

A

2017—03—07

朱壽紅(1991—)，女，碩士研究生，研究方向?yàn)檫b感影像解譯與土地利用分類(lèi)。

國(guó)家自然科學(xué)基金(71503117)