戴曉愛，郭守恒，任 淯，楊曉霞，劉漢湖

（成都理工大學(xué)地學(xué)空間信息技術(shù)國土資源部重點(diǎn)實(shí)驗(yàn)室 成都 610059）

基于堆棧式稀疏自編碼器的高光譜影像分類

戴曉愛，郭守恒，任 淯，楊曉霞，劉漢湖

（成都理工大學(xué)地學(xué)空間信息技術(shù)國土資源部重點(diǎn)實(shí)驗(yàn)室 成都 610059）

為挖掘高光譜影像數(shù)據(jù)的內(nèi)在光譜特征，該文基于深度學(xué)習(xí)理論，引用堆棧式稀疏自編碼器構(gòu)建原始數(shù)據(jù)的深層特征表達(dá)。首先通過稀疏自編碼器，得到原始數(shù)據(jù)的稀疏特征表達(dá)。其次通過逐層學(xué)習(xí)稀疏自編碼器構(gòu)建深度神經(jīng)網(wǎng)，輸出原始數(shù)據(jù)的深度特征。最后將其連接到支持向量機(jī)分類器，完成模型的精調(diào)。實(shí)驗(yàn)結(jié)果分析表明：基于堆棧式稀疏自編碼器的最優(yōu)分類模型，總體精度可達(dá)87.82%，優(yōu)于實(shí)驗(yàn)中的其他方法，證明了深度學(xué)習(xí)方法在高光譜影像處理中具有良好的分類性能。

深度神經(jīng)網(wǎng)； 特征提取； 高光譜影像分類； 堆棧式稀疏自編碼器； 支持向量機(jī)

高光譜影像分類是高光譜影像處理中的重要環(huán)節(jié)，由于Hughes現(xiàn)象［1］的影響，在不進(jìn)行降維處理的情況下傳統(tǒng)分類算法很難在高光譜影像分類中取得理想結(jié)果［2］。支持向量機(jī)（SVM）算法［3］能夠較好地解決Hughes現(xiàn)象，近年來在高光譜影像分類中得到了廣泛應(yīng)用［4］。但其直接通過原始像元來進(jìn)行分類，由于影像獲取過程中，傳感器和成像條件等因素的影響，使同類像元在原始特征空間中具有不穩(wěn)定性，導(dǎo)致分類精度降低。通過深度學(xué)習(xí)（deep learning，DL）算法，可提取原始像元的深度特征，使其具有更好的魯棒性［5］。

深度學(xué)習(xí)模型由多層非線性運(yùn)算單元組成，較低層的輸出作為更高層的輸入，最終學(xué)習(xí)到的特征表達(dá)中包含輸入數(shù)據(jù)的許多結(jié)構(gòu)信息，實(shí)現(xiàn)了對(duì)數(shù)據(jù)的抽象表達(dá)，從而提升分類的準(zhǔn)確性［6］。

本文利用深度學(xué)習(xí)理論中的堆棧式自編碼器（stacked autoencoder，SAE）模型［7］對(duì)高光譜影像像元進(jìn)行非監(jiān)督的特征學(xué)習(xí)，學(xué)習(xí)到的深度特征用于支持向量機(jī)分類器的學(xué)習(xí)。在自編碼器模型中加入稀疏表示［8］的限定條件，以提高模型的泛化能力與分類精度。通過調(diào)整參數(shù)得到基于堆棧式稀疏自編碼器（stacked sparse autoencoder，SSAE）的最優(yōu)分類模型，與傳統(tǒng)方法進(jìn)行比較，證明了其分類精度更優(yōu)。

1 堆棧式稀疏自編碼器

1.1 稀疏自編碼器

自編碼器由一個(gè)三層前饋神經(jīng)網(wǎng)構(gòu)成。通過解碼器重構(gòu)特征與原始特征之間近似的優(yōu)化條件來進(jìn)行非監(jiān)督訓(xùn)練，使未標(biāo)記樣本能用于訓(xùn)練，解決了高維數(shù)據(jù)分類時(shí)，需要大量標(biāo)記訓(xùn)練樣本的困難。稀疏自編碼器是在編碼過程中加入稀疏表示的限制條件。

算法步驟如下：

1） 原始數(shù)據(jù)x∈R1n（n1為輸入層神經(jīng)元數(shù)），通過線性函數(shù)和激活函數(shù)f（·），映射到隱含層得編碼結(jié)果x∈Rn2（n2為隱含層神經(jīng)元數(shù)），有：

通過同樣的過程將X映射到重構(gòu)層得Z?R1n，有：

式中，X為原始數(shù)據(jù)的特征表達(dá)； W1、 W2、 B1、 B2分別為輸入層到隱含層、隱含層到重構(gòu)層的權(quán)重及偏移系數(shù)。

2） 調(diào)整W1、W2、 B1、 B2使x與Z之間近似，并加入稀疏表示的限制條件，有數(shù)學(xué)表達(dá)式：

式中，N為樣本數(shù)據(jù)個(gè)數(shù)；ρi為N個(gè)數(shù)據(jù)的第j個(gè)分量中非零元素占比；ρ為可設(shè)定的超參數(shù)。

得到損失函數(shù)為：

文獻(xiàn)［8］提出稀疏編碼特征學(xué)習(xí)算法，證明了其特征表達(dá)更優(yōu)，且可降低系數(shù)矩陣的復(fù)雜度。

3） 通過迭代算法優(yōu)化損失函數(shù)對(duì)訓(xùn)練參數(shù)W1、W2、B1、B2進(jìn)行更新，直至算法收斂，可得訓(xùn)練參數(shù)和編碼結(jié)果為：

式中， x（k）、 Z（k）為第k個(gè)原始數(shù)據(jù)和重構(gòu)數(shù)據(jù)；α表示學(xué)習(xí)率。

1.2 逐層學(xué)習(xí)堆棧式稀疏自編碼器

堆棧式稀疏自編碼器是由若干稀疏自編碼器結(jié)構(gòu)單元組成的深度神經(jīng)網(wǎng)，模型技術(shù)流程如圖1所示。隨著稀疏自編碼器層數(shù)的增加，學(xué)習(xí)得到原始數(shù)據(jù)的特征表達(dá)更抽象。

圖1 模型技術(shù)流程

2 基于堆棧式稀疏自編碼器的高光譜影像分類實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)數(shù)據(jù)獲取

采用挪威NEO公司Hyspex成像光譜儀以地面成像方式在選定試驗(yàn)區(qū)獲取影像數(shù)據(jù)進(jìn)行模型性能的測(cè)試，光譜范圍為400～1 000 nm，譜段數(shù)為108，大小為350×450，試驗(yàn)區(qū)內(nèi)地物具有較好代表性，適于進(jìn)行本文實(shí)驗(yàn)驗(yàn)證。

2.2 影像預(yù)處理與樣本選取

用Hyspex成像光譜儀輻射定標(biāo)模塊中的校準(zhǔn)函數(shù)進(jìn)行輻射校正，通過平場(chǎng)域法反演像元的相對(duì)反射率。采用隨機(jī)選取感興趣區(qū)得到訓(xùn)練樣本與測(cè)試樣本，選取全部108個(gè)波段數(shù)據(jù)，樣本共7類，具體選取如表1所示。

表1 試驗(yàn)區(qū)樣本數(shù)據(jù)

3 模型調(diào)整與分析

由于深度學(xué)習(xí)模型中超參數(shù)調(diào)節(jié)較復(fù)雜，本文實(shí)驗(yàn)根據(jù)文獻(xiàn)［9］給出的超參數(shù)選取意見，設(shè)定隱含層平均活動(dòng)神經(jīng)元參數(shù)ρ為0.05，正則項(xiàng)權(quán)重λ為3×10-3，稀疏懲罰項(xiàng)權(quán)重μ為3，迭代次數(shù)為400。文獻(xiàn)［10］比較了不同支持向量機(jī)核函數(shù)在高光譜分類中的精度，得出徑向基核函數(shù)效果最好。采用網(wǎng)絡(luò)搜尋法［11］選取徑向基核函數(shù)的參數(shù)σ為0.01，懲罰參數(shù)為100。實(shí)驗(yàn)分析中討論隱含層神經(jīng)元數(shù)，隱含層層數(shù)對(duì)分類精度的影響。

3.1 隱含層神經(jīng)元數(shù)對(duì)分類精度的影響

圖2 不同隱含層神經(jīng)元數(shù)分類總體精度和訓(xùn)練時(shí)間比較

當(dāng)隱含層神經(jīng)元數(shù)過少時(shí)，可導(dǎo)致特征表達(dá)能力不足。反之，又可導(dǎo)致過擬合［12］。由于原始數(shù)據(jù)維數(shù)為108，選取隱含層神經(jīng)元數(shù)｛50，100，150，200，250｝。采用單層稀疏自編碼器連接支持向量機(jī)，重復(fù)進(jìn)行40次實(shí)驗(yàn)，分類總體精度如圖2a所示，盒內(nèi)橫線表示總體精度的平均值，盒子的邊緣是第25和第75百分?jǐn)?shù)位，盒須表示最小點(diǎn)和最大點(diǎn)。訓(xùn)練時(shí)間如圖2b所示，圓點(diǎn)表示平均值，豎線表示標(biāo)準(zhǔn)差。故隱含層神經(jīng)元數(shù)為150時(shí)，分類精度最高。訓(xùn)練時(shí)間隨隱含層神經(jīng)元數(shù)增多明顯增加，且由于深度神經(jīng)網(wǎng)參數(shù)多，訓(xùn)練時(shí)間長。

3.2 隱含層w層數(shù)對(duì)分類精度的影響

當(dāng)層數(shù)增加時(shí)，能得到更抽象的特征，但層數(shù)過多又易使模型陷入過擬合［13］。由上節(jié)得，取隱含層神經(jīng)元數(shù)為150，為降低參數(shù)調(diào)整復(fù)雜度，不同隱含層神經(jīng)元數(shù)保持一致，設(shè)隱含層層數(shù)｛1，2，3，4，5｝。重復(fù)進(jìn)行40次實(shí)驗(yàn)，分類總體精度如圖3a所示，訓(xùn)練時(shí)間如圖3b所示。故當(dāng)隱含層神經(jīng)元數(shù)為150，隱含層層數(shù)為3時(shí)，得到最優(yōu)分類模型，分類精度最高達(dá)87.82%，訓(xùn)練時(shí)間保持在4 min左右。

圖3 不同隱含層層數(shù)分類總體精度和訓(xùn)練時(shí)間比較

3.3 基于堆棧式稀疏自編碼器分類模型與3種常見模型的比較分析

3.3.1 模型比較分析

將基于堆棧式稀疏自編碼器的最優(yōu)分類模型與3種模型進(jìn)行比較分析。3種模型分別為：支持向量機(jī)，最小噪音分離（minimum noise fraction，MNF）降維后連接支持向量機(jī)，主成分分析（principal component analysis，PCA）降維后連接支持向量機(jī)。選取最小噪音分離與主成分分析提取特征數(shù)為4，支持向量機(jī)參數(shù)同上節(jié)。分別進(jìn)行40次實(shí)驗(yàn)，取最優(yōu)結(jié)果。4種模型比較分析如表2所示，得SSAE-SVM模型分類精度最高且測(cè)試時(shí)間最短。

表2 4種分類模型的比較分析

3.3.2 影像分類效果圖

為驗(yàn)證SSAE-SVM模型性能，在上節(jié)比較總體精度（全部測(cè)試樣本中被正確分類的樣本數(shù)與總樣本數(shù)的比值）的基礎(chǔ)上，選取SVM模型與之進(jìn)一步比較分析。給出兩種模型下每類地物的分類精度，即制圖精度（單類地物中被正確分類的樣本數(shù)與單類地物中總樣本數(shù)的比值），如表3所示。

總體精度與制圖精度轉(zhuǎn)換關(guān)系為：根據(jù)各類地物測(cè)試樣本數(shù)將制圖精度進(jìn)行加權(quán)平均可得總體精度。進(jìn)行整幅影像分類，如圖4b、圖4c所示。

由此可得，直接使用SVM時(shí)，小葉女貞易被錯(cuò)分為草和蘇鐵，蘇鐵易被錯(cuò)分為花崗巖，分析得由于光照大氣等因素的影響，錯(cuò)分處地物光譜曲線與標(biāo)準(zhǔn)曲線存在偏差，且小葉女貞和草及蘇鐵和巖漿巖光譜曲線具有相似性，故造成錯(cuò)分。通過SSAE-SVM首先提取原始像元的抽象表達(dá)，得到像元的深度結(jié)構(gòu)信息，這種深度特征使地物類間可分性增強(qiáng)。各類地物分類精度比較及效果圖說明，SSAE-SVM分類模型使分類精度提高，尤其蘇鐵和小葉女貞分類精度明顯提高，地物的總體分類效果得到改進(jìn)。

表3 兩種分類模型的不同地物制圖精度

圖4 試驗(yàn)區(qū)原始影像圖和分類效果圖

4 結(jié) 論

本文以Hyspex成像光譜儀影像數(shù)據(jù)為例，引入深度學(xué)習(xí)理論，采用一種基于堆棧式稀疏自編碼器的分類模型對(duì)影像進(jìn)行分類。得出以下主要結(jié)論：

1） 在隱含層神經(jīng)元數(shù)為50～250，隱含層層數(shù)為1～5的區(qū)間內(nèi)進(jìn)行實(shí)驗(yàn)測(cè)試其對(duì)分類精度的的影響，得出當(dāng)隱含層神經(jīng)元數(shù)為150，隱含層層數(shù)為3時(shí)分類精度最佳，表明兩種參數(shù)設(shè)置過大或過小均會(huì)對(duì)分類精度產(chǎn)生影響。

2） 利用堆棧式稀疏自編碼器提取的深度特征來進(jìn)行分類與直接使用原始特征相比可將分類精度由82.68%提高到87.82%，同時(shí)深度特征明顯優(yōu)于傳統(tǒng)的MNF和PCA等方法提取的特征。

3） 由于深度學(xué)習(xí)模型參數(shù)調(diào)整復(fù)雜，選取不當(dāng)可使模型陷入局部最小或過擬合，影響分類結(jié)果。因此下一步需對(duì)參數(shù)調(diào)整方法進(jìn)行深入研究。同時(shí)考慮獲取更廣泛的影像數(shù)據(jù)來驗(yàn)證模型的普適性及拓展深度學(xué)習(xí)理論在高光譜遙感領(lǐng)域中的應(yīng)用。

本文的研究工作得到了成都理工大學(xué)骨干教師培養(yǎng)計(jì)劃（DG0002）的資助，在此表示感謝！

［1］ HUGHES G. On the mean accuracy of statistical pattern recognizers［J］. IEEE Transactions on Information Theory，1968， IT-14（1）： 55-63.

［2］ CAMPS-VALLS G， BRUZZONE L. Kernel based methods for hyperspectral image classification［J］. IEEE Transactions Geoscience and Remote Sensing， 2005， 43（6）： 1351-1362.

［3］ CORTES C， VAPNIK V. Support vector network［J］. Machine Learning， 1995， 20（3）： 273-297.

［4］ MELGANI F， BRUZZONE L. Classification of hyperspectral remote sensing images with support vector machines［J］. IEEE Transaction and Geoscience and Romote Sensing， 2004， 42（8）： 1778-1790.

［4］ DONG Yu， LI Deng. Deep learning and its applications to signal and information procession［J］. IEEE Signal Processing Magazine， 2011， 28（1）： 145-154.

［6］ ANTHES G. Deep learning comes of age［J］. Communication of the ACM， 2013， 56（6）： 13-15.

［7］ VINCENT P， LAROCHELLE H， LAJOIE I， et al. Stacked denoising autoencoders［J］. Journal of Machine Learning Research， 2010， 11（12）： 3371-3408.

［8］ IAN G， COURVILLE A， BENGION Y. Large scale feature learning with spike and slab sparse coding［C］//International Conference on Machine Learning. Scotland： Edinburgh，2012： 1439-1446.

［9］ BENGIO Y. Practical recommendations for gradientbased training of deep architectures［J］. Neural Network： Tricks of the Trade， 2012， 7700： 437-478.

［10］ 譚坤， 杜培軍. 基于支持向量機(jī)的高光譜遙感圖像分類［J］. 紅外與毫米波學(xué)報(bào)， 2008， 27（2）： 123-129. TAN Kun， DU Pei-jun. Hyperspectral remote sensing image classification based on support vector machine［J］. J Infrared Millim Waves， 2008， 27（2）： 123-129.

［11］ HSU C W， CHANG C C， LIN C J. A practical guide to support vector classification［R］. Taibei， Taiwan， Chian：University of National Taiwan， Department of Computer Science and Information Engineering， 2003， 67（5）： 1-12.

［12］ LAROCHELLE H， BENGIO Y， LOURADOUR J. Exploring strategies for training deep neural network［J］. Journal of Machine Learning Research， 2009， 10（12）： 1-40.

［13］ BENGIO Y. Deep learning of representations for unsupervised and transfer learning［C］//International Conference on Machine Learning. Washington： Bellevue，2011， 7： 17-37.

編 輯 漆 蓉

HypersUpesicntrga tlh Re eSmtaoctkee Sde Snpsianrgs eI mAaugtoee Cnchoadsseirfication

DAI Xiao-ai， GUO Shou-heng， REN Yu， YANG Xiao-xia， and LIU Han-hu
（Key Laboratory of Geo-Spatial Information Technology， Ministry of Land and Resources，Chengdu University of Technology Chengdu 610059）

To extract rich features of hyperspectral image， this study explores the deep features of the raw data by using a stacked sparse autoencoder in the deep learning theory. First we create a sparse expression of raw hyperspectral image using sparse autoencoder. Then a deep neural network generating the deep features of raw data is built through learning stacked sparse autoencoder layer by layer. In addition， the deep feature-related model parameters are precisely calibrated by the statistical learning algorithm of the support vector machine （SVM）. The performance of the experiment indicates that the overall accuracy of classification model based on stacked sparse autoencoder reaches 87.82%， superior to other experimental methods. From our experiments， it follows that the deep learning theory and stacked sparse autoencoder are of high potential in hyperspectral remote sensing image classification.

deep neural network； feature extraction； hyperspectral image classification； stacked sparse autoencoder； support vector machine （SVM）

TP751.1

A

10.3969/j.issn.1001-0548.2016.02.012

2015 - 05 - 26；

2015 - 12 - 10

國家自然科學(xué)基金（41201440，41071265，41102225）；教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（20135122120009）；四川省教育廳科研項(xiàng)目（15ZB0066）；國土資源部地學(xué)空間信息技術(shù)重點(diǎn)實(shí)驗(yàn)室課題（KLGSIT2013-02）

戴曉愛（1979 - ），女，博士，副教授，主要從事遙感與GIS方面的研究.