潘 恒，何進(jìn)榮，凌 宇，任思霖

?

基于多視圖邊界判別投影的高光譜圖像分類

潘 恒，何進(jìn)榮，凌 宇，任思霖

(西北農(nóng)林科技大學(xué)信息工程學(xué)院，陜西 楊凌 712100)

高光譜圖像分類是遙感領(lǐng)域研究的熱點(diǎn)問(wèn)題，其關(guān)鍵在于利用高光譜圖譜合一的優(yōu)勢(shì)，同時(shí)融合高光譜圖像中各個(gè)像元位置的光譜信息和空間信息，提高光譜圖像分類精度。針對(duì)高光譜圖像特征維數(shù)高和冗余信息多等問(wèn)題，采用多視圖子空間學(xué)習(xí)方法進(jìn)行特征降維，提出了圖正則化的多視圖邊界判別投影算法。將每個(gè)像元處的光譜特征看作一個(gè)視圖，該像元處的空間特征看作另一個(gè)視圖，通過(guò)同時(shí)優(yōu)化每個(gè)視圖上的投影方向來(lái)尋找最優(yōu)判別公共子空間。公開測(cè)試數(shù)據(jù)集上的分類實(shí)驗(yàn)表明，多視圖學(xué)習(xí)在高光譜圖像空譜融合分類方面具有顯著的優(yōu)越性，在多視圖降維算法中，該算法具有最高的分類準(zhǔn)確性。

多視圖學(xué)習(xí)；判別降維；高光譜分類；空譜融合

高光譜圖像分類是高光譜遙感技術(shù)研究的關(guān)鍵問(wèn)題之一，被廣泛應(yīng)用于農(nóng)業(yè)種植、城市規(guī)劃、礦物識(shí)別等領(lǐng)域。由于高光譜圖像特征維數(shù)高、冗余信息多，容易降低分類器的泛化能力，因此人們常常通過(guò)降維處理來(lái)消除其譜間相關(guān)性。經(jīng)典的降維方法包括主成分分析(principal component analysis，PCA)[1]等無(wú)監(jiān)督方法和線性判別分析(linear discriminant analysis，LDA)[2]等有監(jiān)督方法。經(jīng)過(guò)降維之后，再使用支持向量機(jī)(support vector machine，SVM)[3]進(jìn)行高光譜圖像分類，分類精度可得到顯著提升。但是傳統(tǒng)的光譜降維分類算法僅考慮了像元的光譜特征，卻忽視了其空間信息。由于圖像分布具有區(qū)域內(nèi)連續(xù)、區(qū)域邊界跳躍的特點(diǎn)，因此近年來(lái)基于空譜特征融合的高光譜圖像分類算法成為研究熱點(diǎn)。常用的空間特征提取方法有鄰域空間特征提取、離散Gabor變換[4]、離散小波變換等?？兆V特征融合策略有多種，例如，文獻(xiàn)[5]提出了一種基于PCA與移動(dòng)窗小波變換的高光譜決策融合分類方法；文獻(xiàn)[6]從鄰域提取空間特征，然后采用修正張量局部保持投影方法進(jìn)行高光譜空譜特征融合。除此思路，近年來(lái)也有研究將卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法引入到高光譜圖像分類問(wèn)題中[7-9]，并取得了優(yōu)異的變現(xiàn)。

本文采用多視圖學(xué)習(xí)方法研究高光譜圖像空譜特征融合問(wèn)題，將所有像元的光譜特征看作一個(gè)視圖，將空間特征看作另一個(gè)視圖，在特征融合的過(guò)程中，同時(shí)減少視圖間和視圖內(nèi)的信息冗余。多視圖學(xué)習(xí)方法可分為3類[10]，即協(xié)同訓(xùn)練(co-training)[11]、多核學(xué)習(xí)(multiple kernel learning)[12]和公共子空間學(xué)習(xí)(common subspace learning)[13]。由于公共子空間學(xué)習(xí)致力于發(fā)掘多視圖數(shù)據(jù)之間的共性，尋找其潛在的公共子空間，引起了學(xué)者們的廣泛關(guān)注。經(jīng)典的無(wú)監(jiān)督子空間學(xué)習(xí)方法包括典型相關(guān)分析(canonical correlation analysis，CCA)[14]，即通過(guò)最大化投影后視圖間的相關(guān)系數(shù)來(lái)進(jìn)行多視圖降維。CCA只能處理兩幅視圖的情況，于是學(xué)者們提出了多視圖的CCA(multiview canonical correlation analysis，MCCA)[15]。經(jīng)典的有監(jiān)督多視圖學(xué)習(xí)方法包括多視圖判別分析(multiview discriminant analysis，MvDA)算法[16-17]，MvDA通過(guò)同時(shí)考慮視圖間和視圖內(nèi)的判別信息來(lái)尋找一個(gè)統(tǒng)一的公共判別子空間。SHARMA等[18]提出了一種高效、泛化、領(lǐng)域無(wú)關(guān)的多視圖學(xué)習(xí)框架——廣義多視圖分析(generalized multiview analysis，GMA)，并將LDA和邊界Fisher分析(marginal fisher analysis，MFA)[19]擴(kuò)展為多視圖方法。本文在GMA的框架下，將邊界判別投影(marginal discriminant projection，MDP)[20]擴(kuò)展為多視圖邊界判別投影(multiview marginal discriminant projection，MMDP)，并加入圖正則化約束[21]，提出了圖正則化的多視圖邊界判別投影(graph regularized multiview marginal discriminant projection，GMMDP)。

本文將多視圖學(xué)習(xí)思想應(yīng)用到高光譜圖像分類領(lǐng)域，首先提取高光譜圖像的光譜和空間特征，構(gòu)建兩幅視圖，然后對(duì)數(shù)據(jù)進(jìn)行歸一化和PCA降維處理，接著應(yīng)用多視圖學(xué)習(xí)方法尋找視圖間的公共子空間，并在子空間中對(duì)數(shù)據(jù)進(jìn)行分類。為處理同一像元在不同視圖中被分為不同類別的問(wèn)題，本文最后對(duì)兩個(gè)視圖的分類結(jié)果進(jìn)行決策融合。公開數(shù)據(jù)集上的實(shí)驗(yàn)證明了多視圖學(xué)習(xí)在高光譜圖像分類問(wèn)題上的有效性和魯棒性。本文算法具體流程如圖1所示。

圖1 多視圖學(xué)習(xí)方法下的高光譜圖像分類

1 高光譜圖像的多視圖特征

1.1 光譜特征

1.2 空間特征

隨著對(duì)地物真實(shí)空間分布的研究的深入，越來(lái)越多的空間特征提取方法被提出，其中主要有融合像元鄰域、Gabor變換、小波變換、形態(tài)學(xué)剖面[22]等。本文探討其中兩種空間特征提取策略，作為后續(xù)多視圖學(xué)習(xí)的空間視圖。

1.2.1 鄰域空間特征

1.2.2 離散小波特征

2 多視圖降維

2.1 多視圖判別分析(MvDA)[16-17]

MvDA通過(guò)同時(shí)考慮視圖間和視圖內(nèi)的變量關(guān)系，在多幅視圖間尋找潛在的判別公共子空間，最大化不同類別樣本之間的差異。對(duì)于幅視圖，MvDA的目標(biāo)函數(shù)為

MvDA是一種有監(jiān)督的學(xué)習(xí)方法，能夠處理兩幅視圖以上的問(wèn)題。

2.2 廣義多視圖分析(GMA)[18]

2.3 圖正則化的多視圖邊界判別投影

MDP是一種有監(jiān)督線性降維算法，其能夠最小化同類樣本間的最大距離，最大化異類樣本間的最小距離，同時(shí)保持?jǐn)?shù)據(jù)流形的幾何形狀。本文將GMA多視圖框架應(yīng)用到MDP上，提出了MMDP。

根據(jù)GMA的多視圖框架，MMDP的目標(biāo)函數(shù)為

為了提升MMDP的分類性能，引入流形學(xué)習(xí)理論，為每一幅視圖建立近鄰圖，在同類樣本之間連邊，邊權(quán)定義為

即同類樣本兩兩之間距離的平均值。由此得到每幅視圖的圖正則化項(xiàng)為

式(17)所示模型可以通過(guò)特征值分解的方法求解。對(duì)于高光譜圖像光譜和空間兩個(gè)視圖，GMMDP的目標(biāo)函數(shù)為

其中，為光譜特征數(shù)據(jù)矩陣；為空間特征數(shù)據(jù)矩陣。

經(jīng)過(guò)多視圖降維算法，像元的光譜特征和空譜特征被投影至公共判別子空間，此時(shí)選取合適的分類器對(duì)子空間中的樣本點(diǎn)進(jìn)行分類，即可得到像元的預(yù)測(cè)類別。SVM是一種有監(jiān)督的機(jī)器學(xué)習(xí)算法，已在高光譜圖像分類中有著廣泛的應(yīng)用，本文使用SVM作為該任務(wù)的分類器。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

3.1.1 Indian Pines數(shù)據(jù)集

3.1.2 Salinas Valley數(shù)據(jù)集

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中分別使用鄰域法和小波變換法獲取不同形式的空間信息，作為一組對(duì)照。之后對(duì)光譜數(shù)據(jù)和空間數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化以及PCA降維，通過(guò)多視圖學(xué)習(xí)投影視圖到公共子空間。為減少參數(shù)，實(shí)驗(yàn)保持子空間維數(shù)與PCA維數(shù)一致。實(shí)驗(yàn)中，像元的光譜特征和空間特征被視為兩個(gè)數(shù)據(jù)樣本，存在同一像元被分為不同類別的情況。決策時(shí)，實(shí)驗(yàn)將空譜視圖下的分類結(jié)果作為該像元的最終分類結(jié)果，因?yàn)樵趫D像中，空間幾何上相鄰的像素點(diǎn)更加有可能屬于同一類，而由于“異物同譜”現(xiàn)象存在，光譜相似的像素不一定是同一種物質(zhì)。對(duì)于高光譜圖像像素分類問(wèn)題，相比之下空間特征的貢獻(xiàn)更大。

表1 不同參數(shù)下的GMMDP總體分類精度

此外，實(shí)驗(yàn)使用MvDA、GMMFA作為多視圖學(xué)習(xí)的對(duì)比算法，使用傳統(tǒng)的LDA-MLE、SVM-RBF作為單視圖對(duì)比算法。對(duì)于子空間中的數(shù)據(jù)，統(tǒng)一選擇高斯核的SVM作為分類器。為減小實(shí)驗(yàn)過(guò)程中偶然誤差的影響，每組實(shí)驗(yàn)重復(fù)20次，取平均值作為最終結(jié)果。實(shí)驗(yàn)源代碼：https:// github.com/Penn000/GMMDP_for_HIC。

圖2 不同α下的GMMDP總體分類精度

圖3 不同λ下的GMMDP總體分類精度

3.3 實(shí)驗(yàn)結(jié)果與分析

Indian Pines數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果見表3，對(duì)比方法包括傳統(tǒng)的單視圖算法和本文介紹的多視圖方法。由表3可知，不論是哪種空間特征提取方式，多視圖學(xué)習(xí)方法明顯提升了高光譜圖像分類的準(zhǔn)確性，其中采用鄰域法提取空間特征的GMMDP比傳統(tǒng)的LDA-MLE方法的分類精度高出35.22%，Kappa系數(shù)高出42.17%，比SVM-RBF方法的分類精度高出了18.79%，Kappa 系數(shù)高出了22.49%。這一方面說(shuō)明了空間信息的重要性以及空譜融合的必要性，同時(shí)也證明了多視圖學(xué)習(xí)可顯著提升高光譜圖像分類精度。比較各有監(jiān)督的多視圖學(xué)習(xí)算法，雖然各算法間的性能差異不大，但GMMDP仍以96.58%和956.48%的準(zhǔn)確率取得最好的分類精度。GMMDP的Kappa系數(shù)也是各多視圖降維算法中最高的。另外，不同的空間特征提取方式將會(huì)影響多視圖學(xué)習(xí)的分類精度。不論從總體分類精度上看，還是從Kappa系數(shù)上看，本文提出的基于鄰域的空間提取方式都比小波變換提取特征的方式要好。這是因?yàn)楸疚牟捎玫目臻g特征提取方式考慮周圍不同像元對(duì)目標(biāo)像元的影響大小，而小波變換對(duì)窗口內(nèi)的像元使用同樣的權(quán)重。圖4從視覺上展現(xiàn)了各高光譜分類算法的性能差異。

表2 Indian Pines數(shù)據(jù)的分類結(jié)果

表3 Salinas Valley數(shù)據(jù)的分類結(jié)果

圖4 Indian Pines數(shù)據(jù)的分類圖

Salinas Valley數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果見表3，結(jié)果表明多視圖學(xué)習(xí)方法提升了高光譜圖像分類的準(zhǔn)確性，其中采用鄰域法提取空間特征的GMMDP比傳統(tǒng)的LDA-MLE方法的分類精度高出8.8%，Kappa系數(shù)高出9.83%，比SVM-RBF方法的分類精度高出了5.93%，Kappa 系數(shù)高出了6.63%。此外，本文提出的基于鄰域的空間提取方式比小波變換提取特征的方式更能取得高的分類精度。圖5從視覺上展現(xiàn)了各高光譜分類算法的性能差異。LDA-MLE和SVM-RBF這兩個(gè)單視圖方法相比于多視圖方法存在更多的錯(cuò)分像元，視覺上噪聲更加明顯。

圖5 Salinas Valley數(shù)據(jù)的分類圖

為了驗(yàn)證GMMDP等多視圖降維算法對(duì)于訓(xùn)練集規(guī)模變化的穩(wěn)定性，在Indian Pines數(shù)據(jù)集上，保持其他參數(shù)不變，僅改變訓(xùn)練樣本和測(cè)試樣本的比例進(jìn)行實(shí)驗(yàn)，結(jié)果如表4和圖6所示。所有算法的分類精度都會(huì)隨著訓(xùn)練樣本的增加而呈上升趨勢(shì)，符合人們的直觀認(rèn)識(shí)。而在不同規(guī)模的訓(xùn)練集上，GMMDP始終保持最優(yōu)的性能，表明其穩(wěn)定性較強(qiáng)。在只有10%的訓(xùn)練樣本情況下，GMMDP依然有超過(guò)95%的準(zhǔn)確率，顯示了GMMDP在小樣本問(wèn)題上的優(yōu)良性能。

表4 不同訓(xùn)練集規(guī)模下的分類性能

圖6 不同訓(xùn)練集規(guī)模下的分類性能

4 結(jié) 論

本文采用多視圖學(xué)習(xí)方法融合高光譜圖像的光譜信息和空間信息進(jìn)行降維與分類。在已有多視圖學(xué)習(xí)方法基礎(chǔ)上，提出了圖正則化的多視圖邊界判別投影算法。該算法在對(duì)高光譜空譜特征融合降維的同時(shí)，保持原始高維特征集的流形結(jié)構(gòu)，從而提升其多視圖特征降維的泛化性能。實(shí)驗(yàn)證明，多視圖學(xué)習(xí)是處理高光譜圖像分類問(wèn)題的一種有效方法，且與傳統(tǒng)的多視圖學(xué)習(xí)算法相比，圖正則化的多視圖邊界判別投影算法具有較高的高光譜圖像分類準(zhǔn)確率。

[1] MOORE B. Principal component analysis in linear systems: controllability, observability, and model reduction [J]. IEEE Transactions on Automatic Control, 1981, 26(1): 17-32.

[2] ZHAO W, PHILLIPS P J. Subspace linear discriminant analysis for face recognition [EP/OL]. [2018-01-09]. https://www.researchgate.net/publication/2306824_Subspace_Linear_Discriminant_Analysis_for_Face_Recognition.

[3] BAESENS B, VIAENE S, GESTEL T V, et al. Least squares support vector machine classifiers: An empirical evaluation [EB/OL]. [2018-02-02]. https:// core.ac.uk/display/34312128.

[4] 葉珍, 白璘, 粘永健. 基于Gabor特征與局部保護(hù)降維的高光譜圖像分類算法[J]. 光學(xué)學(xué)報(bào), 2016, 36(10): 504-513.

[5] 葉珍, 何明一. PCA與移動(dòng)窗小波變換的高光譜決策融合分類[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015, 20(1): 132-139.

[6] DENG Y J, LI H C, PAN L, et al. Modified tensor locality preserving projection for dimensionality reduction of hyperspectral images [J]. IEEE Geoscience & Remote Sensing Letters, 2018, 15(2): 277-281.

[7] HU W, HUANG Y, WEI L, et al. Deep convolutional neural networks for hyperspectral image classification [EB/OL]. [2018-03-01]. https://www.hindawi.com/ journals/js/2015/258619/.

[8] LIN L, SONG X. Using CNN to classify hyperspectral data based on spatial-spectral information [M]// Advances in Intelligent Information Hiding and Multimedia Signal Processing. Berlin: Springer International Publishing, 2017: 61-68.

[9] MEI S H, JI J Y, HOU J H, et al. Learning sensor-specific spatial-spectral features of hyperspectral images via convolutional neural networks [J]. IEEE Transactions on Geoscience & Remote Sensing, 2017, 55(8): 4520-4533.

[10] XU C, TAO D C, XU C. A Survey on Multi-view learning[EB/OL]. [2018-01-09]. http://cn.arxiv.org/abs/ 1304. 5634.

[11] BLIM A, MITCHELL T. Combining labeled and unlabeled data with co-training [C]//Eleventh Conference on Computational Learning Theory. New York: ACM Press, 1998: 92-100.

[12] WANG H Q, SUN F C, CAI Y N, et al. On multiple kernel learning methods [J]. Acta Automatica Sinica, 2010, 36(36): 1037-1050.

[13] YANG P P, HUANG K Z, LIU C L. A multi-task framework for metric learning with common subspace [J]. Neural Computing and Applications, 2013, 22(7-8): 1337-1347.

[14] HARDOON D R, SZEDMAK S , SHAWE-TAYLOR J. Canonical correlation analysis: an overview with application to learning methods [J]. Neural Comput. 2004, 16(12): 2639-2664.

[15] RUPNK J, SHAWE-TAYLOR J. Multi-view canonical correlation analysis [EB/OL]. [2018-02-17]. https://www. researchgate.net/publication/228836443_Multi-View_Canonical_Correlation_Analysis.

[16] KAN M, SHAN S G, ZHANG H H, et al. Multi-view discriminant analysis [C]//European Conference on Computer Vision. Berlin: Springer, 2012: 808-821.

[17] KAN M, SHAN S G, ZHANG H H, et al. Multi-view discriminant analysis [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(1): 188-194.

[18] SHARMA A, KUMAR A, DAUME H, et al. Generalized multiview analysis: a discriminative latent space [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Computer Society, 2012: 2160-2167.

[19] MIKA S, R?TSCH G, WESTON J, et al. Fisher discriminant analysis with kernels [C]//Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop. NewYork: IEEE Press, 2002: 41-48.

[20] 何進(jìn)榮, 丁立新, 李照奎, 等. 基于邊界判別投影的數(shù)據(jù)降維[J]. 軟件學(xué)報(bào), 2014, 25(4): 826-838.

[21] HUANG S, YANG D, ZHOU J, et al. Graph regularized linear discriminant analysis and its generalization [J]. Pattern Analysis & Applications, 2015, 18(3): 639-650.

[22] 鮑蕊, 夏俊士, 薛朝輝, 等. 基于形態(tài)學(xué)屬性剖面的高光譜影像集成分類[J]. 遙感技術(shù)與應(yīng)用, 2016, 31(4): 731-738.

Hyperspectral Images Classification Based on Multiview Marginal Discriminant Projection

PAN Heng, HE Jinrong, LING Yu, REN Silin

(College of Information Engineering, Northwest A&F University, Yangling Shaanxi 712100, China)

Hyperspectral images classification is a research hotspot in the remote sensing field. The key point is to improve the classification accuracy by taking the advantage of spectral-spatial features of hyperspectral images, which fuse the spectral information and spatial information of each pixel in the hyperspectral image simultaneously. This paper employed multiview subspace learning for feature reduction with the problems of high feature dimension and redundant information of hyperspectral images, and proposed a graph regularized multiview marginal discriminant projection (GMMDP) algorithm. The multiview feature reduction algorithm took the spectral features of each pixels as a view and spatial features as another view, then searched the optimal discriminant common subspace by optimizing the projection direction of each view. Experiments on the open dataset showed that multiview learning had a significant advantage in spectral-spatial classification of hyperspectral images. Among all multiview dimensionality reduction algorithms, our GMMDP had the highest classification accuracy.

multiview learning; discriminant reduction; hyperspectral classification; spectral-spatial fusion

TP 391

10.11996/JG.j.2095-302X.2018061062

A

2095-302X(2018)06-1062-07

2018-04-16；

2018-07-25

中國(guó)博士后科學(xué)基金項(xiàng)目(2018M633585)；陜西省自然科學(xué)基金項(xiàng)目(2018JQ6060)；西北農(nóng)業(yè)科技大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(201710712064)

潘 恒(1996-)，男，浙江嘉興人，本科生。主要研究方向?yàn)槎嘁晥D學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)。E-mail：panheng@nwafu.edu.cn

何進(jìn)榮(1984-)，男，甘肅民勤人，講師，博士。主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺。E-mail：hejinrong@163.com