黃 霄 云紅全 徐 力 鞠 雯 明德烈
(1.華中科技大學(xué)自動(dòng)化學(xué)院多譜信息處理技術(shù)國家級(jí)重點(diǎn)實(shí)驗(yàn)室 武漢 430074)(2.宇航智能控制技術(shù)國家級(jí)重點(diǎn)實(shí)驗(yàn)室 北京 100854)(3.北京航天自動(dòng)控制研究所 北京 100854)
在高分辨率遙感圖像中,目標(biāo)擁有豐富的特征信息,這為基于遙感圖像的目標(biāo)可識(shí)別性分析提供了可能。一般而言,遙感圖像的目標(biāo)主要分為線性目標(biāo)、復(fù)雜結(jié)構(gòu)目標(biāo)和團(tuán)塊目標(biāo)[1]。由于不同的目標(biāo)類型以及對目標(biāo)描述方法的不同,其所得到的特征在識(shí)別性能上也有很大的差異。為了克服單一特征在識(shí)別性能上的片面性和局限性,文獻(xiàn)[2]將形狀和顏色兩種特征進(jìn)行了組合應(yīng)用;文獻(xiàn)[3]融合了顏色、紋理以及GIST 等特征,這些改進(jìn)都在一定程度上提高了算法的性能。
為綜合各類型特征的優(yōu)勢,實(shí)驗(yàn)以分組融合的方式同時(shí)應(yīng)用Gabor、LPQ、HSV、LBP、GIST、HOG 6種特征,并進(jìn)行特征層面和分類器層面的融合以提高可識(shí)別性分析的性能??紤]到高分辨率遙感圖像各類目標(biāo)之間差異較大,本文將主要對遙感圖像中的團(tuán)塊目標(biāo)(飛機(jī)、車輛、船舶等)的可識(shí)別性展開研究。
1)HSV顏色直方圖
HSV顏色特征可以比較直觀地描述圖像內(nèi)容,是遙感圖像的一個(gè)重要認(rèn)識(shí)特征,有著眾多的實(shí)踐與證明[4]。HSV 顏色空間是一種基于感知的顏色模型,它把圖像顏色信息分為三個(gè)屬性:色調(diào)、飽和度和亮度。為實(shí)現(xiàn)HSV 顏色直方圖特征的提取,需將圖像從RGB 轉(zhuǎn)換到HSV。對三個(gè)分量執(zhí)行非等間隔的量化:根據(jù)人類視覺的辨別能力,將色調(diào)空間分為8 區(qū)間,飽和度和亮度均分為3 區(qū)間。然后根據(jù)色彩的不同范圍和主觀色彩感知執(zhí)行非等間隔的量化,最后統(tǒng)計(jì)其的直方圖分布,完成HSV顏色直方圖特征的提取。
2)Gabor紋理特征
Gabor小波核函數(shù)具有與人類大腦皮層簡單細(xì)胞的二維反射區(qū)相同的特性,它能夠捕捉對應(yīng)空間尺度、空間位置及方向選擇性等局部結(jié)構(gòu)信息,在計(jì)算機(jī)視覺和圖像分析領(lǐng)域得到廣泛的應(yīng)用[5]。Gabor 濾波器[6]是一個(gè)由二維高斯函數(shù)衍生出的復(fù)數(shù)域正弦曲線函數(shù),相當(dāng)于一組帶通濾波器,由其獲得的Gabor 紋理特征是一種不依賴于顏色或亮度的視覺特征,具體提取方法如下:使用5個(gè)尺度8個(gè)方向的Gabor 濾波器對原始圖像進(jìn)行Gabor 變換,可以形成40幅圖像紋理表示,再計(jì)算這40幅圖像的均值和方差從而得到一個(gè)80維的特征向量。
3)LBP紋理特征
LBP(Local Binary Pattern,局部二值模式)是一種用來描述圖像局部紋理特征的算子,它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn),在遙感圖像的也有著各種應(yīng)用[7]。原始的LBP 算子[8]定義為在3*3 的窗口內(nèi),以窗口中心像素為閾值,將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較,若周圍像素值大于中心像素值,則該像素點(diǎn)的位置被標(biāo)記為1,否則為0。這樣,3*3 鄰域內(nèi)的8 個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8 位二進(jìn)制數(shù),其十進(jìn)制值即為該像素點(diǎn)的LBP值。特征描述中,以直方圖的形式統(tǒng)計(jì)出每個(gè)像素點(diǎn)的LBP 數(shù)值,并將其作為整幅圖的LBP 紋理特征向量。
4)LPQ紋理特征
LPQ 算子是一種具有模糊不變性的紋理特征描述算子。對于圖像f(x),M×M 領(lǐng)域Nx采用離散的短時(shí)傅立葉變換[9],如式(1)所示:
其中u表示頻率。
局部傅立葉系數(shù)通過4 個(gè)頻點(diǎn)u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T來計(jì)算,a 表示很小范圍,a=1/M.對于每個(gè)像素位置,通過向量表示。
傅立葉系數(shù)相位可以通過每個(gè)部分的實(shí)數(shù)和虛數(shù)的符號(hào)來表示。
其中g(shù)j是向量G( x )=[Re{ F ( x )},Im{F(x)}]的第j個(gè)部分。然后qj對其進(jìn)行二進(jìn)制編碼,如式(4)所示:
經(jīng)過LPQ 算子運(yùn)算后形成LPQ 圖像,然后轉(zhuǎn)化成LPQ直方圖,將其作為特征的表達(dá)。
5)HOG形狀特征
方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征[10]是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子。它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。HOG 特征的主要思想是,在一副圖像中,局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述,而梯度主要存在于邊緣的地方。HOG 特征的提取主要由四個(gè)步驟組成:(1)顏色空間歸一化;(2)梯度計(jì)算;(3)梯度方向直方圖;(4)重疊塊直方圖歸一化,最后獲得HOG特征。
6)GIST視覺特征
GIST 特征[11]用以實(shí)現(xiàn)對該信息的客觀描述。該特征模擬人的視覺,形成對外部世界的一種空間表示,捕獲圖像中的上下文信息。GIST 特征的實(shí)現(xiàn)過程如下:(1)通過多尺度多方向Gabor 濾波器組對場景圖像進(jìn)行濾波;(2)將濾波后的圖像劃分為n×n 的網(wǎng)格;(3)各個(gè)網(wǎng)格采用離散傅里葉變換和窗口傅里葉變換提取GIST 特征;(4)將第(3)步中每個(gè)網(wǎng)格中產(chǎn)生的特征值級(jí)聯(lián)起來,就得到了整幅圖像的GIST特征。
1)Gabor_LPQ
Gabor 紋理特征和LPQ 紋理特征都是對圖像紋理的描述。Gabor 紋理特征,在提取目標(biāo)的局部空間和頻率域信息方面具有良好的特性,但存在全局表征能力弱以及特征數(shù)據(jù)維數(shù)冗余的問題。LPQ 紋理特征,可對整個(gè)圖像的輪廓進(jìn)行描述,具有良好的識(shí)別結(jié)果。
考慮到Gabor 濾波器的局部優(yōu)勢及LPQ 算子的整體能力,因此聯(lián)合Gabor 紋理特征和LPQ 紋理特征實(shí)現(xiàn)互補(bǔ),完成目標(biāo)可識(shí)別性分析[12]。如圖1所示。
圖1 Gabor_LPQ特征處理
2)LBP_HSV
LBP 特征是基于灰度空間的圖像局部紋理特征描述算子,它不隨灰度尺度的變化而變化,在不同光照的影響下魯棒性好,具有良好的灰度不變性和旋轉(zhuǎn)不變性等優(yōu)點(diǎn)。
HSV 顏色直方圖是基于HSV 空間的全局特征,特別適用于難以進(jìn)行自動(dòng)分割的圖像,與LBP特征相比具有全局性的特點(diǎn)。
3)HOG_GIST
HOG 提取的是圖像局部輪廓特征,由于它在圖像的局部細(xì)胞單元上進(jìn)行操作,所以它對圖像幾何形變和光學(xué)形變能保持良好的不變形,這能很好地應(yīng)用到對于物體的檢測。GIST 提取的是圖像的全局特征,二者有一定的互補(bǔ)。
圖2 HSV_LBP特征處理
1)Adaboost分類器
AdaBoost 是一種迭代算法,它被評(píng)為數(shù)據(jù)挖掘十大算法之一[13],其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器,即弱分類器,然后把這些弱分類器集合起來,構(gòu)造一個(gè)更強(qiáng)的最終分類器[14]。
算法本身是改變數(shù)據(jù)分布實(shí)現(xiàn)的,它根據(jù)每次訓(xùn)練集之中的每個(gè)樣本的分類是否正確,以及上次的總體分類的準(zhǔn)確率,來確定每個(gè)樣本的權(quán)值。將修改權(quán)值的新數(shù)據(jù)送給下層分類器進(jìn)行訓(xùn)練,然后將每次訓(xùn)練得到的分類器融合起來,作為最后的決策分類器。
2)決策樹算法
決策樹(decision tree)是一種基本的分類與回歸方法。決策樹模型呈樹形結(jié)構(gòu),在分類問題中,表示基于特征對實(shí)例進(jìn)行分類的過程。它可以認(rèn)為是if-then規(guī)則的集合,也可以認(rèn)為是定義在特征空間與類空間上的條件概率分布。其主要優(yōu)點(diǎn)是模型具有可讀性,分類速度快。學(xué)習(xí)時(shí),利用訓(xùn)練數(shù)據(jù),根據(jù)損失函數(shù)最小化的原則建立決策樹模型。預(yù)測時(shí),對新的數(shù)據(jù),利用決策樹模型進(jìn)行分類。決策樹學(xué)習(xí)通常包括3 個(gè)步驟:特征選擇、決策樹的生成和決策樹的修剪。
決策樹算法很多,例如:ID3 算法[15]、C4.5 算法、CART 算法等。這些算法均采用自上而下的貪婪算法,每個(gè)內(nèi)部節(jié)點(diǎn)選擇分類效果最好的屬性來分裂節(jié)點(diǎn),可以分成兩個(gè)或者更多的子節(jié)點(diǎn),繼續(xù)此過程直到這棵決策樹能夠?qū)⑷康挠?xùn)練數(shù)據(jù)準(zhǔn)確的分類,或所有屬性都被用到為止。
特征分組融合的可識(shí)別性分析實(shí)驗(yàn)主要包括學(xué)習(xí)階段和預(yù)測階段,其主要步驟如下:
1)學(xué)習(xí)階段
(1)選定正負(fù)樣本:選取具有飛機(jī)、車輛以及船舶等團(tuán)塊目標(biāo)的圖片作為訓(xùn)練的正樣本,選取無團(tuán)塊目標(biāo)的隨機(jī)圖像作為訓(xùn)練的負(fù)樣本。正樣本數(shù)為2400個(gè),負(fù)樣本數(shù)為2400個(gè),并以此作為訓(xùn)練集數(shù)據(jù);
(2)針對訓(xùn)練集分別提取Gabor、LPQ、HSV、LBP、GIST、HOG等特征,訓(xùn)練并獲取相應(yīng)的特征組Adaboost分類器;
(3)將分類器模型應(yīng)用于測試數(shù)據(jù),計(jì)算并保存其預(yù)測模型中間值,每個(gè)測試數(shù)據(jù)對應(yīng)三個(gè)分類器的中間值P1,P2,P3,并以此作為其屬性描述;
(4)將分類器的預(yù)測中間值P1,P2,P3作為決策樹算法的輸入屬性進(jìn)行訓(xùn)練,獲得Gabor_LPQ、HSV_LBP、GIST_HOG三個(gè)分類器的融合規(guī)則。
2)預(yù)測流程
(1)提取待分析圖像的Gabor_LPQ 特征、HSV_LBP特征、GIST_HOG特征;
(2)針對不同的特征使用相應(yīng)的Adaboost分類器計(jì)算預(yù)測中間值;
(3)將獲得的預(yù)測中間值運(yùn)用Gabor_LPQ、HSV_LBP、GIST_HOG 三個(gè)分類器的融合規(guī)則進(jìn)行預(yù)測,獲得對應(yīng)的結(jié)果。
圖4 訓(xùn)練流程圖
圖5 預(yù)測流程圖
識(shí)別率是正確識(shí)別樣本數(shù)與樣本總數(shù)的比值,是衡量識(shí)別算法性能的最重要指標(biāo)。實(shí)驗(yàn)通過分別提取Gabor、LPQ、HSV、LBP、GIST、HOG 等6 種特征,并將其得到的識(shí)別率與Gabor_LPQ、HSV_LBP、GIST_HOG 等3 種融合特征的識(shí)別率進(jìn)行對比,分析特征融合對識(shí)別率的影響。然后,在此基礎(chǔ)上,將三種融合特征分類器的分析結(jié)果與三種分類器融合的結(jié)果進(jìn)行對照分析,得到分類器融合對識(shí)別率的提升效果。
利用單個(gè)特征進(jìn)行Adaboost 學(xué)習(xí)和分類預(yù)測的結(jié)果如下圖所示,其中橫軸表示迭代的輪數(shù),縱軸表示當(dāng)前分類器在測試集上的識(shí)別正確率,實(shí)驗(yàn)過程中用到了三種Adaboost 方法,分別為Gentle Adaboost、Modest Adaboost以及Real Adaboost。
圖6 Gabor adaboost迭代提升圖
圖7 LPQ adaboost迭代提升圖
圖8 HSV Adaboost迭代提升圖
圖9 LBP Adaboost迭代提升圖
圖10 GIST Adaboost迭代提升圖
圖11 HOG Adaboost迭代提升圖
通過分析可知,Gentle Adaboost 和Real Adaboost 的適應(yīng)能力較強(qiáng),性能比Modest Adaboost 更穩(wěn)定,以下對比實(shí)驗(yàn)將僅使用Real Adaboost方法進(jìn)行。
為了進(jìn)一步分析特征組合對識(shí)別率的影響,分別將Gabor 和LPQ 特征,HSV 和LBP 特征,GIST 和HOG 特征進(jìn)行融合,然后選用Real Adaboost 方法實(shí)現(xiàn)訓(xùn)練學(xué)習(xí)。如圖12~14 所示,分別為Gabor_LPQ、HSV_LBP、GIST_HOG 融合特征迭代訓(xùn)練提升圖。
圖12 Gabor_LPQ融合特征迭代訓(xùn)練提升圖
圖13 HSV_LBP融合特征迭代訓(xùn)練提升圖
圖14 GIST_HOG融合特征迭代訓(xùn)練提升圖
通過分析可知,三組融合特征得到的識(shí)別率均高于利用單一特征進(jìn)行學(xué)習(xí)的識(shí)別率,即得到結(jié)論:基于優(yōu)勢互補(bǔ)的特征融合有利于提高Adaboost算法的識(shí)別率。
最后,使用CART 決策樹算法將Gabor_LPQ、HSV_LBP、GIST_HOG 三個(gè)分類器進(jìn)行融合,并把得到的分析結(jié)果與上述實(shí)驗(yàn)進(jìn)行對比。表1 記錄了6 個(gè)單特征和3 組分組融合特征使用Real Adaboost方法時(shí),第200輪以及迭代過程中最高的識(shí)別率。最后一行的數(shù)據(jù)為已得的三個(gè)分類器進(jìn)行CART融合時(shí)在同一測試集上的識(shí)別率。
表1 單個(gè)、分組以及分類器融合識(shí)別率對比表
實(shí)驗(yàn)結(jié)果表明,基于多特征分組融合的可識(shí)別算法的識(shí)別率高于單特征或組合特征判別算法,該算法能夠同時(shí)綜合Gabor_LPQ、HSV_LBP、GIST_HOG 特征的優(yōu)點(diǎn),將目標(biāo)識(shí)別率提高到97%以上。