楊伊+閆德勤+張海英+楚永賀

摘要摘要：極限學(xué)習(xí)機(jī)（ELM）以其高效、快速和良好的泛化性能在模式識(shí)別領(lǐng)域得到廣泛應(yīng)用，然而在高光譜遙感圖像分類中，極限學(xué)習(xí)機(jī)算法不能較好地利用數(shù)據(jù)蘊(yùn)含的判別信息，限制了ELM的分類性能。為此，提出一種基于判別信息極限學(xué)習(xí)機(jī)（IELM），IELM繼承了極限學(xué)習(xí)機(jī)的優(yōu)勢(shì)，并在一定程度上解決了極限學(xué)習(xí)機(jī)在有限高光譜遙感圖像數(shù)據(jù)樣本中學(xué)習(xí)不充分的問(wèn)題。高光譜遙感圖像分類實(shí)驗(yàn)結(jié)果表明，該算法具有較好的分類效果。

關(guān)鍵詞關(guān)鍵詞：極限學(xué)習(xí)機(jī)；模式識(shí)別；高光譜遙感圖像；判別信息

DOIDOI：10.11907/rjdk.162600

中圖分類號(hào)：TP317.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2017）001016105

對(duì)于連續(xù)狹窄的光譜帶，高光譜成像傳感器能夠捕獲詳細(xì)和豐富的光譜信息。近年來(lái)，隨著圖像處理技術(shù)的發(fā)展，高光譜圖像得到廣泛應(yīng)用，在高光譜圖像應(yīng)用中最重要的任務(wù)是對(duì)圖像進(jìn)行分類。然而，在高光譜遙感圖像分類問(wèn)題中存在一些挑戰(zhàn)。例如有限訓(xùn)練樣本之間的不平衡和高維度，高光譜遙感圖像幾何形狀復(fù)雜，高光譜遙感圖像分類計(jì)算復(fù)雜度高。為使高光譜遙感圖像分類取得良好效果，近年來(lái)，機(jī)器學(xué)習(xí)方法在高光譜圖像分類中得到廣泛應(yīng)用，例如人工神經(jīng)網(wǎng)絡(luò)（Artificial neural networks，ANNs）[1]、支持向量機(jī)（Support vector machine，SVM）[2]、多項(xiàng)邏輯回歸（Multinomial logistic regression，MLR）[3]、主動(dòng)學(xué)習(xí)（Active learning，AL）[4]等，其它方法如利用稀疏表示[5]以及譜聚類[6]對(duì)高光譜進(jìn)行分離也得到廣泛應(yīng)用。然而，由于高光譜遙感圖像具有髙維度以及復(fù)雜性，通過(guò)機(jī)器學(xué)習(xí)算法尋找最優(yōu)的參數(shù)來(lái)進(jìn)行分類通常非常困難，并且耗時(shí)，實(shí)現(xiàn)高光譜遙感圖像高效快速分類已成為遙感圖像領(lǐng)域的重要問(wèn)題。

近年來(lái)，Huang等[7]基于單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden layer feedforward networks，SLFNs）結(jié)構(gòu)提出了極限學(xué)習(xí)機(jī)（Extreme learning machine，ELM）。ELM隨機(jī)產(chǎn)生隱層節(jié)點(diǎn)的輸入權(quán)值和偏置值，所有參數(shù)中僅有輸出權(quán)值經(jīng)過(guò)分析確定。ELM將傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的求解過(guò)程轉(zhuǎn)化為一個(gè)線性模型，ELM隨機(jī)選擇輸入權(quán)值和分析確定SLFNs的輸出權(quán)值，避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法收斂速度慢及陷入局部極小解的可能，具有更好的泛化能力和更快的學(xué)習(xí)速度。文獻(xiàn)[7]指出ELM通過(guò)隨機(jī)產(chǎn)生隱層節(jié)點(diǎn)的輸入權(quán)值和偏置值分析確定輸出權(quán)值，保持了SLFNs的通用逼近能力，同時(shí)能夠得到一個(gè)全局最優(yōu)解。由于ELM良好的泛化能力，使得ELM應(yīng)用在不同的領(lǐng)域中。在高光譜遙感圖像領(lǐng)域，Pal等[8]將ELM應(yīng)用到土地覆蓋分類中，與BP[9]神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)相比，ELM取得了更好的分類效果，并且ELM算法的計(jì)算復(fù)雜度遠(yuǎn)遠(yuǎn)小于BP和支持向量機(jī)。Bazi等[10]利用差分進(jìn)化方法優(yōu)化核ELM算法的參數(shù)，提高了高光譜遙感圖像的分類效果。為了提高ELM算法在高光譜遙感圖像分類中的穩(wěn)定性，Samat等[11]基于Bagging 和 AdaBoost算法提出了集成的極限學(xué)習(xí)機(jī)算法（Ensemble extreme learning machine，E2LM）。

雖然針對(duì)高光譜遙感圖像分類問(wèn)題，研究人員在ELM算法的基礎(chǔ)上提出了改進(jìn)，然而 ELM及其改進(jìn)算法并未充分考慮數(shù)據(jù)樣本間的幾何特征和數(shù)據(jù)蘊(yùn)含的判別信息。知道樣本之間具有某些相似的屬性和分布特征，樣本之間的相似屬性和分布特征能夠彌補(bǔ)ELM學(xué)習(xí)不夠充分的問(wèn)題，進(jìn)而可以提高ELM的泛化能力，因而數(shù)據(jù)樣本的幾何特征和數(shù)據(jù)蘊(yùn)含的判別信息對(duì)ELM的分類性能具有重要作用。

基于以上分析，本文提出一種基于判別信息極端學(xué)習(xí)機(jī)（Discriminative information regularized extreme learning machine，IELM），對(duì)于分類問(wèn)題，IELM同時(shí)考慮到數(shù)據(jù)樣本的幾何特征和數(shù)據(jù)蘊(yùn)含的判別信息，通過(guò)最大化異類離散度和最小化同類離散度，優(yōu)化極端學(xué)習(xí)機(jī)的輸出權(quán)值，從而在一定程度上提高ELM的分類性能和泛化能力。IELM方法的優(yōu)勢(shì)在于：①繼承了ELM的優(yōu)點(diǎn)，在一定程度上避免了ELM學(xué)習(xí)不充分的問(wèn)題；②將異類離散度和同類離散度引入到ELM中，充分利用數(shù)據(jù)樣本的判別信息；③利用MMC[12]方法有效解決最大化異類離散度和最小化同類離散度矩陣奇異問(wèn)題。

為評(píng)價(jià)和驗(yàn)證本文提出的基于判別信息極端學(xué)習(xí)機(jī)的高光譜遙感圖像分類方法，實(shí)驗(yàn)使用Indian Pines，Salinas scene兩個(gè)高光譜遙感圖像數(shù)據(jù)，將本文所提出的方法與ELM、支持向量機(jī)（Support vector machine，SVM）、最近鄰分類器協(xié)作表示（Collaborative representation nearest neighbor classifier，CRNN）[13]進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明本文提出的算法能夠取得較好的分類效果。

實(shí)驗(yàn)環(huán)境為惠普工作站處理器：Intel（R）Xeon（R） CPU E5-1603 0 @2.80 GHz，安裝內(nèi)存：8.00GB ，系統(tǒng)類型：64位操作系統(tǒng)，版本：win7，語(yǔ)言開(kāi)發(fā)環(huán)境采用 Matlab 2010b。

第一組實(shí)驗(yàn)數(shù)據(jù)為Indian Pines遙感圖像數(shù)據(jù)，Indian Pines數(shù)據(jù)是AVIRIS傳感器在薩利納斯山谷收集的數(shù)據(jù)，該圖像包含200個(gè)波段，圖像大小為145×145，地表真實(shí)分類如圖1所示，Indian Pines數(shù)據(jù)集屬性設(shè)置如表1所示。

第二組實(shí)驗(yàn)數(shù)據(jù)為Salinas scene遙感圖像數(shù)據(jù)，Salinas scene數(shù)據(jù)是AVIRIS傳感器在薩利納斯山谷收集的數(shù)據(jù)，該圖像包含204個(gè)波段，圖像大小為512×217，地表真實(shí)分類如圖2所示， Salinas scene數(shù)據(jù)集屬性設(shè)置如表2所示。

實(shí)驗(yàn)中，對(duì)于Indian Pines和Salinas scene圖像數(shù)據(jù)，隨機(jī)選取1%的數(shù)據(jù)樣本作為訓(xùn)練集，剩下部分為測(cè)試集，使用總體精度（OA），Kappa系數(shù)，平均準(zhǔn)確率（AA）衡量不同算法的性能。

（1）總體精度?？傮w精度（overall accuracy，OA）是對(duì)分類結(jié)果質(zhì)量的總體評(píng)價(jià)，等于被正確分類的像素總和除 以總的像素個(gè)數(shù)。被正確分類的像素沿著混淆矩陣的對(duì)角線分布，它顯示了被正確分類到真實(shí)分類中的像元數(shù)。根據(jù)混淆矩陣可得OA的計(jì)算式為：p=∑ci=1miiN（21）其中，c表示類別數(shù)目，mii表示混淆矩陣對(duì)角線上的元素，N=∑ci=1∑cj=1mij表示測(cè)試樣本的總數(shù)。

（2）Kappa系數(shù)。Kappa系數(shù)采用一種多元離散分析技術(shù)，反映分類結(jié)果與參考數(shù)據(jù)之間的吻合程度，它考慮了混淆矩陣的所有因子，是一種更為客觀的評(píng)價(jià)指標(biāo)，其定義為：k=N∑ci=1mii-∑ci=1（mi+m+i）N2-∑ci=1（mi+m+i）（22）其中，mi+，m+i分別表示混淆矩陣第i行的總和、第i列的總和，c表示類別數(shù)目，N為測(cè)試樣本總數(shù)，mii表示混淆矩陣對(duì)角線上的元素，Kappa系數(shù)越大分類精度越高。

（3）平均精度。平均精度（average accuracy，AA）定義為每類分類準(zhǔn)確率相加除以類別總數(shù)。AA=∑ci=1accic（23）其中，c表示類別數(shù)目，acci表示每類的分類準(zhǔn)確率。

4.2實(shí)驗(yàn)結(jié)果及分析

將IELM與ELM，SVM，CRNN進(jìn)行對(duì)比，SVM采用libsvm工具箱，核函數(shù)采用徑向基核函數(shù)（Radial basis function，RBF），懲罰參數(shù)c=0.02，核函數(shù)參數(shù)g=0.02，IELM與ELM均采用Sigmoid函數(shù)作為激活函數(shù)，隱層節(jié)點(diǎn)個(gè)數(shù)設(shè)置為500，懲罰參數(shù)c=20。

5結(jié)語(yǔ)

本文提出了一種基于判別信息極端學(xué)習(xí)機(jī)的高光譜遙感圖像分類方法，創(chuàng)新之外在于考慮到光譜遙感圖像數(shù)據(jù)的聯(lián)系和差異信息。IELM引入同類離散度和異類離散度的概念，體現(xiàn)了輸入空間數(shù)據(jù)的判別信息，通過(guò)最大化異類離散度和最小化同類離散度，優(yōu)化極端學(xué)習(xí)機(jī)的輸出權(quán)值。與NN，SVM， ELM算法的對(duì)比實(shí)驗(yàn)表明，本文所提出方法的分類效果優(yōu)于NN，SVM，ELM算法。

參考文獻(xiàn)：

[1]Q SAMI UL HAQ，L TAO.Neural network based adaboosting approach for hyperspectral data classication[J].International Conference on Computer Science and Network Technology（ICCSNT），2011：241245.

[2]J A GUALTI，R F CROMP.Support vector machines for hyperspectral remote sensing classification[J].in Proc.SPIE 27th AIPR Workshop：Adv.Comput.Assisted Recognit.Int.Soc.Opt.Photonics，Washington，DC，USA，1999：221232.

[3]J Li，J BIOUCASDIAS，A.PLAZA.Semisupervised hyperspectral image classification using soft sparse multinomial logistic regression[J].IEEE Geosci.Remote Sens.Lett，2013，10（2）：318322.

[4]W DI，MM CRAWFORD.Active learning via multiview and local proximity coregularization for hyperspectral image classification[J].IEEE Journal of Selected Topics in Signal Processing，2011，5（3）：618628.

[5]J BIOUCASDIAS，M A T.FIGUEIREDO.Alternating direction algorithms for constrained sparse regression：application to hyperspectral unmixing[J].Hyperspectral Image and Signal Processing：Evolution in Remote Sensing （WHISPERS），2010：14.

[6]Y TARABALKA，J A BENEDIKTSSON，J CHANUSSOT.Spectralspatial classification of hyperspectral imagery based on partitional clustering techniques[J].IEEE Transactions on Geoscience and Remote Sensing，2009，47（8）：29732987.

[7]GB HUANG，H ZHOU，X DING，et al.Extreme learning machine for regression and multiclass classification[J].IEEE Trans.Syst Man Cybern B，2012，42（2）：51329.

[8]M PAL，A E MAXWELL，T A WARNER.Kernelbased extreme learning machine for remotesensing image classification[J].Remote Sens.Lett，2013，4（9）：853862.

[9]D RUMELHART，G HINTON，R WILLIAMS.Learning by backpropagating errors[J].Nature，1986，323（6088）：533536.

[10]Y BAZI.Differential evolution extreme learning machine for the classification of hyperspectral images[J].IEEE Geosci.Remote Sens.Lett，2014，11（6）：10661070.

[11]A SAMAT，P DU，S LIU，et al.E2LMs：ensemble extreme learning machines for hyperspectral image classification[J].IEEE J.Sel.Topics Appl.Earth Observ.Remote Sens，2014，7（4）：10601069.

[12]H LI，T JIANG，K ZHANG.Efficient robust feature extraction by maximum margin criterion[J].IEEE Transactions on Neural Networks ，2006，17（1）：157165.

[13]W LI，Q DU，F(xiàn) ZHANG.Collaborativerepresentationbased nearest neighbor classifier for hyperspectral imagery[J].IEEE Geoscience and Remote Sensing Letters ，2015，12（2）：389393.

[14]G B HUANG.An insight into extreme learning machines：random neurons，random features and kernels[J].Cognitive Computation，2014，6（3）：376390.

責(zé)任編輯（責(zé)任編輯：陳福時(shí)）