劉 敬,李青妍,劉 逸
(1.西安郵電大學(xué) 電子工程學(xué)院,陜西 西安710121;2.重慶郵電大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,重慶400065;3.西安電子科技大學(xué) 電子工程學(xué)院,陜西 西安710071)
高光譜遙感影像具有維數(shù)高[1-4]、冗余信息多的特性[5-6],同時地物的光譜有“同物異譜”、“異物同譜”等現(xiàn)象,這些因素使得高光譜遙感影像具有非線性分布的特點,給特征提取帶來困難。高光譜遙感影像非線性可分性特征的提取,可以通過核方法解決。Baudat G.和Anouar F.提出核線性判別分析(KLDA),引入核函數(shù)計算高維核空間的內(nèi)積,將線性判別分析推廣至非線性判別分析,以提取非線性的可分性特征[7]。但當(dāng)高光譜遙感影像中相似光譜的不同地物與野類同時存在時,KLDA往往會使得可分性大的類對容易分,而可分性小的類對難分,進(jìn)一步影響整體地物分類精度。Dai等人對KLDA進(jìn)行改進(jìn),通過對核類間散布矩陣進(jìn)行加權(quán),以解決野類影響特征提取的問題,但該方法未考慮到類內(nèi)散布對特征提取結(jié)果的影響[8]。Lu等人采用迭代方法對KLDA進(jìn)行改進(jìn),基于類對形式將所有類對的散度累加和作為新的目標(biāo)函數(shù),令各類對的散度最大使得目標(biāo)函數(shù)最大化[9]。但該方法需要對所有類對分別進(jìn)行迭代計算,計算量大。Liu等人提出加權(quán)類對(CP-weighted)準(zhǔn)則,利用類對可分性測度,分別對各類對的類間散布與類內(nèi)散布進(jìn)行加權(quán)[10]。但該方法僅能提取線性可分性特征,不能提取非線性可分性特征。
為解決高光譜遙感影像中相似光譜的不同地物與野類同時存在時,提取有效的非線性可分性特征的問題,本文提出一種核加權(quán)類對(KCPweighted)準(zhǔn)則。首先推導(dǎo)出類對形式的KLDA準(zhǔn)則,即核類對(KCP)準(zhǔn)則。然后,依據(jù)核空間中各類對的可分性分別對各類對的核類間和類內(nèi)散布矩陣進(jìn)行加權(quán),增加可分性小的類對對特征方向的貢獻(xiàn),抑制可分性大的類對對特征方向的影響。KCP-weighted方法的優(yōu)點:1.同時考慮到核空間中各類對的類間、類內(nèi)散布對特征方向的影響,可以更好地捕捉原始數(shù)據(jù)中存在的非線性可分性特征;2.在核空間中利用類對的可分性測度,增加可分性小的類對對特征方向的貢獻(xiàn),降低可分性大的影響,使得特征子空間中各類對的非線性可分性特征得以均衡保留。
本文采用兩個實測遙感影像的實驗結(jié)果表明:相比原空間法、KLDA法、核Fisher類對加權(quán)(KWP-Fisher)法,所提KCP-weighted法能提取出更合理的非線性可分性特征,通過提高可分性小的類對的分類結(jié)果來提高整體識別率。
針對高光譜遙感影像中相似光譜的不同地物與野類同時存在時,提取有效的非線性可分性特征的問題,本文首先推導(dǎo)出類對形式的KLDA準(zhǔn)則,即KCP準(zhǔn)則。然后,依據(jù)核空間中各類對的可分性分別對各類對的核類間和類內(nèi)散布矩陣進(jìn)行加權(quán),提出KCP-weighted準(zhǔn)則。
給定樣本的原始空間維數(shù)為n,樣本類別數(shù)為C,訓(xùn)練樣本數(shù)為N,訓(xùn)練樣本集為X={x1,x2,…,xN},第i類的訓(xùn)練樣本的個數(shù)為N i。其中,原始空間中第i類的第q個樣本為將原始n維空間的樣本xi映射到高維核空間F后記為?(xi)。(xi),?(xj)>表示在高維核空間F中向量?(xi)與向量?(xj)的內(nèi)積。核函數(shù)k(xi,xj)與(xi),?(xj)>的關(guān) 系 可 以 表 示 為:k(xi,xj)=(xi),?(xj)>。本文核函數(shù)采用RBF核函數(shù),即:
KLDA引入核函數(shù)計算高維核空間的內(nèi)積,將線性判別分析推廣至非線性判別分析,可提取非線性可分性特征,其準(zhǔn)則函數(shù)為:
滿足使J?(WKLDA)最大的WKLDA的列向量由對應(yīng)的前d個最大特征值對應(yīng)的特征向量組成。為核類內(nèi)散布矩陣,如式(1)所示。即:
其中,p i為第i類的先驗概率,為核空間中第i類的第q個樣本為核空間中各類樣本的均值向量,可利用解得。為核類間散布矩陣,即:核 類間散布矩陣的類對形式可 以 重 新 寫 為[11]:
(C?1)為常量,不會影響核空間中最終提取的特征的方向。因此,用各類對的核類內(nèi)散布矩陣之和代替核類內(nèi)散布矩陣的準(zhǔn)則函數(shù)可以進(jìn)一步合理擴展為:
我們將式(4)定義為KCP準(zhǔn)則,即類對形式的KLDA準(zhǔn)則,KCP準(zhǔn)則為KLDA方法的合理擴展。最大化KCP準(zhǔn)則的最優(yōu)特征向量為前d個最大特征值對應(yīng)的特征向量。
通過采用核空間中各類對的類心距離作為可分性測度,分別對各類對的核類內(nèi)、類間散布矩陣加權(quán),增加可分性小的類對對特征方向的貢獻(xiàn),減小可分性大的類對對特征方向的影響。則式(4)可以進(jìn)一步定義為:
我們定義式(5)為KCP-weighted準(zhǔn)則,且尋找使得KCP-weighted準(zhǔn)則最大的特征子空間。WKCPW為KCP-weighted準(zhǔn)則的映射矩陣。式(5)中,βij為核空間中各類對的權(quán)重,計算過程如下:①計算各類對所占的比重。計算核空間各類對類心歐式距離d ij與各類對類心歐式距離之和的比值,即③歸一化的比值作為歸一化 結(jié) 果,即使得權(quán)重βij的取值范圍為0到1??煞中源蟮念悓Ρ毁x予小權(quán)重,而可分性小的類對被賦予大權(quán)重,從而實現(xiàn)增加可分性小的類對對特征方向的貢獻(xiàn),減小可分性大的類對對特征方向的影響。
由再生核理論可知,核空間中解向量w z位于訓(xùn)練樣本張成的子空間中。即:
同理,將樣本整體均值m?映射至w z,有:
有:
其中,
則KCP-weighted準(zhǔn)則函數(shù)可以通過系數(shù)矩陣A表示為:
通 過 求 解的 前d個最大特征值對應(yīng)的特征向量得到最優(yōu)系數(shù)矩陣A=[α1,α2,...,αd],即可最大化KCP-weighted準(zhǔn)則。將原始空間的樣本x利用
可以映射至KCP-weighted特征子空間。KCPweighted準(zhǔn)則使得特征子空間中各類對的可分性得以均衡保留,通過提高可分性小的類對的分類效果,以提高整體分類精度。
基于KCP-weighted準(zhǔn)則的地物分類詳細(xì)步驟如下(輸入:高光譜數(shù)據(jù)所有樣本,類別標(biāo)簽):Step1計算核矩陣。將原始空間中各類樣本隨機劃分為訓(xùn)練樣本與測試樣本,利用RBF核函數(shù)k(x i,x j)建立核矩陣;Step2特征提取。對核空間中 的進(jìn) 行 特 征值分解,得到最優(yōu)系數(shù)矩陣A,并計算各類對的權(quán)重βij;Step3建立模板庫。利用式(11),將原空間樣本映射至KCP-weighted特征子空間。并利用核空間中各類的均值與協(xié)方差矩陣,建立模板庫,C為地物類別數(shù);Step4地物分類。對任意測試樣本x,將原始樣本映射至KCP-weighted特征子空間中后記做y。然后,分別利用KNN分類器與MD分類器進(jìn)行地物分類。
KNN分類器的決策規(guī)則為:對于KCPweighted特征子空間中的任意測試樣本y,判別y屬于所決定的類。其中,ki為y的k近鄰中屬于第i類的訓(xùn)練樣本數(shù);MD分類器的決策規(guī)則為:計算KCP-weighted特征子空間中任意測試樣本y到各類訓(xùn)練樣本均值的距離,將測試樣本y判決為距離各類訓(xùn)練樣本均值中,距離最小的均值所在的類。
為了驗證所提KCP-weighted準(zhǔn)則的有效性,分別采用原空間法、KLDA、KWP-Fisher、以及KCP-weighted準(zhǔn)則,在相同訓(xùn)練樣本和測試樣本的條件下進(jìn)行特征提取。這里采用核空間中各類對的類心歐式距離作為各類對的可分性測度。
分別采用Indian Pines整體、Indian Pines子圖、和Botswana影像進(jìn)行實驗。數(shù)據(jù)1為Indian Pines高光譜影像。該數(shù)據(jù)由AVIRIS傳感器對美國印第安納州Indian Pines實驗區(qū)成像所得[13]。在除去受水汽等其他因素影響的波段后,選取200個光譜波段作為研究對象,空間分辨率為17m,波長范圍為0.4~2.5μm,包括16類地物,該影像大小為145×145。Indian Pines影像如圖1(a)所示。Indian Pines子圖包括4類地物,大小為68×86。
圖1 高光譜遙感影像Fig.1 HRSIs
數(shù)據(jù)2為Botswana高光譜影像。該數(shù)據(jù)由EO-1衛(wèi)星在Botswana獲得[13]。在除去受水汽等其他因素影響的波段后,選取145個波段作為研究對象,該影像空間分辨率為30 m,波長為0.4~2.5μm,包括14類地物。Botswana影像如圖1(b)所示。
在實驗采用RBF核函數(shù),在特征子空間采用KNN、MD分類器進(jìn)行分類。隨機選取各類樣本的20%作為訓(xùn)練樣本,其余樣本作為測試樣本,每個實驗取10次結(jié)果的平均。在相同的訓(xùn)練樣本與測試樣本的條件下,KCP-weighted法分類結(jié)果分別與原空間法、KLDA法、KWP-Fisher法的分類結(jié)果進(jìn)行比較。AA為平均識別率,即為各類識別率。SD為標(biāo)準(zhǔn)差。Kappa為所得Kappa系數(shù)。表1為Botswana影像在各個特征子空間采用KNN、MD分類器的分類結(jié)果,其中,σ為RBF核函數(shù)的參數(shù)。
由表1可知,在采用KNN分類器,k為4時,KCP-weighted準(zhǔn)則法的平均識別率相比原空間法、KLDA法和KWP-Fisher準(zhǔn)則法分別提高了4.03,0.72,1.62個百分點。當(dāng)采用MD分類器時,所提KCP-weighted準(zhǔn)則法的平均識別率相比原空間法、KLDA子空間法和KWP-Fisher準(zhǔn)則法分別提高了13.27,1.16,2.04個百分點。其中,KCP-weighted準(zhǔn)則法的標(biāo)準(zhǔn)差最小,Kappa系數(shù)最大。
表1 Botswana影像實驗結(jié)果比較Tab.1 Recognition results of Botswana image
表2 為Botswana影像核空間中的不相似性測度矩陣。由表2可知,這里采用衡量第ij類對在核空間中的不相似性,不相似性測度越小,類對的相似性越大。在表2中類對的不相似性測度的閾值為0.1,相似性大的類對在表2中加粗顯示。
表3 為采用KNN分類器分類的Botswana影像的各類識別結(jié)果。由表3可知,相比KLDA方法、KWP-Fisher準(zhǔn)則法,所提KCP-weighted準(zhǔn)則法有更好的識別效果。表中第2,5,6類的識別率均有了明顯的提高。從表2中可知:(5,6)類對,(5,12)類對,以及(6,12)類對的不相似性測度均小于0.1。也就是說,第5類樣本不易與其余兩類樣本分類,而本文所提KCP-weighted準(zhǔn)則法能將第5類的識別率相比KLDA法、KWPFisher準(zhǔn)則法分別提高3.44,4.37個百分點??梢?,所提KCP-weighted準(zhǔn)則能提取到更合理的特征,通過提高可分性小的類對的分類效果,從而提高整體地物識別率。
表2 Botswana影像核空間中的不相似性測度矩陣Tab.2 Class dissimilarity measure confusion matrix of Botswana image in kernel space
表3 采用KNN分類器分類的Botswana影像各類識別結(jié)果Tab.3 Recognition results of Botswana image classified by KNN classifier (%)
表4 為Indian Pines整體影像在各個特征子空間采用KNN、MD分類器的分類結(jié)果。從表4中可知,本文所提的KCP-weighted準(zhǔn)則的平均識別率相較原空間法、KLDA方法和KWP-Fisher準(zhǔn)則法,均有明顯提高。其中,KNN分類器,k為6時,KCP-weighted準(zhǔn)則法的平均識別率較原空間法、KLDA方法、KWP-Fisher準(zhǔn)則法、分別提高了13.18,0.50,2.45個百分點。同理,在MD分類器下識別率也有所提高,KCP-weighted準(zhǔn)則的平均識別率較KLDA法、KWP-Fisher法、分別提高了5.26,0.72個百分點。
表4 Indian Pines整體影像實驗結(jié)果比較Tab.4 Recognition results of Indian Pines whole image
表5 為Indian Pines子圖影像在各個特征子空間采用KNN、MD分類器的分類結(jié)果。從表5可知,所提KCP-weighted準(zhǔn)則的平均識別率相比其余三種方法均有明顯的提高。在采用KNN分類器分類,k為7時,KCP-weighted準(zhǔn)則的平均識別率相比原空間法、KLDA方法和KWP-Fisher準(zhǔn)則法分別提高了6.53,0.52,1.54個百分點。同樣,在采用MD分類器進(jìn)行分類時,相較其余方法,所提KCP-weighted準(zhǔn)則法的識別效果也有所提高。此外,KCP-weighted準(zhǔn)則法的Kappa系數(shù)最大。
表5 Indian Pines子圖影像實驗結(jié)果比較Tab.5 Recognition results of Indian Pines subimage
由Indian Pines整體影像、Indian Pines子圖影像、Botswana影像的識別結(jié)果可知,KCPweighted準(zhǔn)則法的地物分類結(jié)果優(yōu)于原空間法、KLDA法、KWP-Fisher準(zhǔn)則法。這是因為在野類存在的情況下,KLDA會使得特征方向傾向于保留可分性大類對的分類信息,造成特征子空間中可分性小的類對出現(xiàn)重疊,影響可分性小的類對的分類;而KWP-Fisher準(zhǔn)則僅考慮各類對的核類間散布矩陣,沒有考慮各類對的核類內(nèi)散布矩陣對特征提取的影響;KCP-weighted準(zhǔn)則能同時考慮到核空間中各類對的類間、類內(nèi)散布對特征方向的影響,利用核空間中類對的可分性測度對各類對的核類內(nèi)和類間散布矩陣進(jìn)行加權(quán),使得特征子空間中各類對的非線性可分性特征得以均衡保留。理論分析以及實驗結(jié)果均表明,本文提出的KCP-weighted準(zhǔn)則能在降維的同時,通過提高可分性小的類對的識別結(jié)果來提高整體識別率。
針對高光譜遙感地物中相似光譜的不同地物與野類同時存在時,提取有效的非線性可分性特征的問題,本文提出了一種基于KCP-weighted準(zhǔn)則的高光譜遙感影像非線性特征提取方法。首先,推導(dǎo)出類對形式的KLDA準(zhǔn)則,即:KCP準(zhǔn)則。然后,依據(jù)核空間中各類對的可分性分別對各類對的核類間和類內(nèi)散布矩陣進(jìn)行加權(quán),以提取有效的可分性特征?;趯崪y高光譜遙感數(shù)據(jù)的實驗結(jié)果表明:相比原空間法、KLDA法、以及KWP-Fisher法,所提KCP-weighted準(zhǔn)則法能在降維的同時,有效提高可分性小的類對的分類結(jié)果,從而提高整體地物的分類精度。說明本文所提方法,在高光譜遙感影像中相似光譜的不同地物與野類同時存在時,可提取出有效的非線性可分性特征。