馬廣迪 楊為琛

(浙江國遙地理信息技術有限公司, 浙江 湖州 313200)

0 引言

隨著20世紀70年代自美國發(fā)射氣象衛(wèi)星,人們就開始進行衛(wèi)星遙感圖像的分類研究,但實質仍然是目視判讀,在遙感圖像分類方法上并沒有突破。20世紀80年代主要是利用統(tǒng)計模式識別方法進行遙感圖像的計算機分類。例如,神經網絡算法用于遙感圖像分類始于1988年,國外學者MURA.H提出了基于神經網絡和知識發(fā)現(xiàn)的分類方法。除此之外,Vapnik提出的支撐向量機遙感影像特征提取技術是通過事先定義的非線性變換函數(shù)集的方法進行的。這些方法雖然都取得了較好的效果,但是部分學者并沒有充分考慮影像的幾何模型特征,往往根據(jù)方法和經驗進行分類,分類結果只滿足空間分辨率,不能達到高精度,在圖像查全率和查準率上還存在欠缺。20世紀90年代至今,也不斷涌現(xiàn)出大量的遙感圖像分類方法,遙感數(shù)據(jù)獲取技術也在向著高光譜分辨率、高空間分辨率、高時相分辨率的趨勢發(fā)展,導致遙感圖像數(shù)量呈指數(shù)級別瘋長。據(jù)統(tǒng)計研究發(fā)現(xiàn),美國航空航天局(National Aeronautics and Space Administration, NASA)地球觀測系統(tǒng)每天需要接收約4 TB量級的遙感圖像[1]。龐大的遙感圖像數(shù)據(jù)為人們提供更多信息的同時,也為用戶應用遙感圖像數(shù)據(jù)提出了極大的挑戰(zhàn)。反觀國內,賈永紅提出的基于Back Propagation神經網絡的多源遙感影像分類方法是應用了動量法和學習率自適應的調整策略,提高了影像分類速度。劉志剛探討了一種基于支撐向量機遙感影像不完全監(jiān)督分類的新方法,是基于加權無標識樣本支撐向量機稱重未標記樣品支持向量機(Weighed Unlabeled Sample Support Vector Machine, WUS-SVM)的基礎上發(fā)展出來的方法,節(jié)省了物力人力。駱劍承提出了基于支撐向量機遙感影像空間特征提取新方法,是基于支持向量機(Support Vector Machine，SVM)的遙感影像系統(tǒng)空間特征提取模型,處理高維數(shù)據(jù)存在的難以收斂,計算復雜和結果難以解釋等問題,但上述方法同樣在檢索性能方面還不夠精準,如何高效地分類檢索遙感圖像是解決上述問題的關鍵,也是現(xiàn)今海量數(shù)據(jù)處理領域中重點研究課題之一。

在20世紀90年代初產生了基于內容的遙感圖像分類檢索技術,簡稱為CBIR(Content-Based Image Retrieval)技術,具備高效、直觀的特征。遙感圖像海量性、復雜性與多樣性的特征,對遙感圖像分類檢索提出了更高的要求,導致CBIR方法出現(xiàn)查全率[2]、查準率[3]低的問題,無法滿足現(xiàn)今遙感圖像應用的需求,故提出基于CNN-CBIR的遙感圖像分類檢索方法研究。卷積神經網絡(Convolutional Neural Networks，CNN)即卷積神經網絡,通過構建多層神經網絡訓練機制來模擬人腦學習過程,以此為基礎,自動完成特征提取,降低人為干預、環(huán)境不清晰的影響。但是卷積神經網絡層數(shù)較多,參數(shù)規(guī)模也較大,直接訓練卷積神經網絡存在一定的難度。為此將CNN與CBIR進行有效的結合,即基于內容的遙感圖像相似性匹配需求與遙感圖像特征提取能力相結合,為遙感圖像分類檢索提供新的技術支撐,相對于已有的分類檢索方法,著重于改善遙感圖像分類檢索的性能,以此來提升對遙感圖像分類檢索的查全率與查準率。

1 遙感圖像分類檢索方法

1.1 遙感圖像高層特征提取

為了精確分類遙感圖像,基于CNN提取遙感圖像高層特征。

卷積神經網絡被廣泛地應用在遙感圖像分類領域中,并取得了一定的成就,發(fā)展為多種模型。通過對比研究發(fā)展,此研究選擇VGGNet-16模型作為卷積神經網絡模型[4]。

VGGNet-16模型結構較為清晰,性能較為優(yōu)越。VGGNet-16模型中每個卷積層應用同一尺寸的卷積核,每個池化層利用同一尺寸的池化區(qū)域進行采樣[5]。該模型具備豐富的卷積層,能夠提取較多的特征,為下述遙感圖像分類做準備。VGGNet-16模型結構如圖1所示。

如圖1所示,VGGNet-16模型中利用連續(xù)的小卷積核替代大卷積核,大幅度減少了卷積神經網絡的參數(shù)量,使網絡模型性能提升。VGGNet-16模型層級劃分情況如表1所示。

表1 VGGNet-16模型層級劃分表

圖1 VGGNet-16模型結構圖

通過VGGNet-16模型獲取遙感圖像卷積特征與池化特征。其中,遙感圖像卷積層特征是在VGGNet-16模型預訓練過程中提取的,某個層次輸出值為

f=[x1,x2,…,xj,…,xC]

(1)

式(1)中,xj表示的是第j個遙感圖像特征圖;C表示的是遙感圖像特征圖的總數(shù)量。

如公式(1)所示,將f直接轉換為特征向量,

即為遙感圖像卷積層特征。

設定遙感圖像輸出特征圖尺寸為s×s,池化區(qū)域尺寸為m×m,需要注意的是m≤s。為了提取豐富的遙感圖像池化特征,設置池化步幅為1,此時池化區(qū)域數(shù)量為(s-m+1)×(s-m+1),為了方便后續(xù)的處理,將其簡記為k[6]。遙感圖像池化區(qū)域面積平均值計算公式為

(2)

遙感圖像池化區(qū)域面積最大值計算公式為

(3)

通過上述公式,將遙感圖像池化特征轉換為特征圖數(shù)量為C的形式,表達式為

cp=[x1,x2,…,xj,…,xD]

(4)

遙感圖像卷積特征與池化特征均反映的是遙感圖像局部特征,無法成為遙感圖像分類的依據(jù),故將卷積特征與池化特征進行聚合,得到遙感圖像綜合高層特征表達式為

Y=[y1,y2,…,yj,…,yC]

(5)

式(5)中，yj表示的是第j個遙感圖像局部特征圖。

上述過程完成了遙感圖像高層特征的提取,為下述遙感圖像分類提供精確的數(shù)據(jù)依據(jù)。

1.2 遙感圖像分類

以上述獲取的遙感圖像高層特征為依據(jù),利用模糊分類算法分類處理遙感圖像,具體分類過程如下所示。

VGGNet-16模型得到的遙感圖像高層特征具備較高的置信度,故以此為基礎,計算遙感圖像每個類別的概率,計算公式為

(6)

式(6)中,a表示的是Softmax輸出層輸入的N個向量;i的取值范圍為[1,N]。

以公式(6)結果為基礎,依據(jù)下述規(guī)則對遙感圖像進行模糊分類為

(7)

式(7)中,μ(pi)、ξ(pi)與ω(pi)分別表示的是遙感圖像分類置信度三個區(qū)間;Th1與Th2分別表示的是閾值,需要注意的是Th1

由公式(7)可以看出,當遙感圖像置信度低于Th1,極有可能出現(xiàn)錯誤分類的現(xiàn)象,故將其稱為低置信區(qū)間;當遙感圖像置信度高于Th2,認為遙感圖像分類結果均是正確的,故將其稱為高置信區(qū)間;當遙感圖像置信度處于Th1與Th2之間時,圖像分類結果準確性較高,故將其稱為中間置信區(qū)間[7]。

1.3 遙感圖像檢索

依據(jù)得到的遙感圖像分類結果，利用CBIR技術制定遙感圖像分類檢索程序，實現(xiàn)遙感圖像的分類檢索[8]。現(xiàn)有方法雖然具備較高的性能，但普遍適用性較弱，傳統(tǒng)CBIR技術無法滿足現(xiàn)今圖像檢索的需求，將其與CNN模型進行有效結合，依據(jù)遙感圖像高層特征度量遙感圖像之間的相似性，為遙感圖像檢索提供幫助[9]，拉大相似程度低遙感圖像之間的距離[10]。

對比嵌入度量學習方式的損失函數(shù)表達式為

式(8)中,n表示的是遙感圖像數(shù)據(jù)集總數(shù)量;yi,j表示的是遙感圖像i與j是否屬于同一類別;Di,j表示的是遙感圖像i與j高層特征的距離度量[11];α表示的是損失函數(shù)的參量,常規(guī)情況下,取值范圍為[1,3];[*]+表示的是當前最小值為0,即max(0,*)。

依據(jù)公式(8)制定遙感圖像分類檢索程序,具體程序如圖2所示。

圖2 遙感圖像分類檢索程序圖

遙感圖像分類檢索具體步驟如下:

(1)將CNN預訓練參數(shù)分別轉移至查詢遙感圖像q與遙感圖像數(shù)據(jù)集M中。由1.1節(jié)可知,聚合特征是針對卷積特征與池化特征進行的,故刪除VGGNet-16模型的全連接層,同時將VGGNet-16模型中的卷積層與池化層參數(shù)分別轉移至查詢遙感圖像q與遙感圖像數(shù)據(jù)集M中[12]。如圖2所示,c1、c2、…、c5-3均為VGGNet-16模型卷積層,relu5-3表示的是激活函數(shù)層,pool5表示的是最后一個池化層[13];

(2)提取查詢遙感圖像q與遙感圖像數(shù)據(jù)集M的CNN特征[14]。該步驟中,將查詢遙感圖像q與遙感圖像數(shù)據(jù)集M中的全部圖像輸入至VGGNet-16模型中(CNN),將c5-3、relu5-3與pool5輸出值作為特征向量,將M中全部類別遙感圖像CNN特征記為FM=[f1,f2,…,fN],其中,N表示的是遙感圖像數(shù)據(jù)集中類別數(shù)目;將查詢遙感圖像qCNN特征記為fq;

(3)獲取查詢遙感圖像q與遙感圖像數(shù)據(jù)集M聚合特征[15]。由于卷積特征與池化特征較為片面,故應用BoVW算法聚合圖像高層特征,分別記為AM=[a1,a2,…,aN]與aq;

(4)歸一化處理步驟三獲取的聚合特征。由于遙感圖像各個特征向量單位具有較大的差異,無法直接進行應用,故需要對其進行歸一化處理。此研究采用L2范數(shù)歸一化算法[16],具體歸一化過程如下所示。

假設遙感圖像某個l維聚合特征向量為

ai=[ai1,ai2,…,aij,…,ail]

(9)

式(9)中,aij表示的是ai的第j個特征元素。

對AM每一特征進行L2范數(shù)歸一化,表達式為

(10)

依據(jù)上述過程對查詢遙感圖像聚合特征向量aq進行L2范數(shù)歸一化,表達式為

(11)

(5)計算遙感圖像特征與數(shù)據(jù)集類別特征之間的相似度,并反饋最相似的n幅遙感圖像[17]。

相似度度量公式為

(12)

式(12)中,dqi表示的是相似度;l表示的是特征的維數(shù)。

依據(jù)公式(12)結果構成相似度向量,記為dq=[dq1,dq2,…,dqi,…,dqN],為了能夠統(tǒng)一處理,對相似度向量進行L2范數(shù)歸一化,表達式為

(13)

依據(jù)公式(13)結果對數(shù)據(jù)集中遙感圖像進行降序排列,取前n幅遙感圖像作為檢索結果,輸出遙感圖像檢索結果。

通過上述過程實現(xiàn)了遙感圖像的分類檢索,為用戶提供更加精確的遙感數(shù)據(jù),也為遙感技術應用助力。

2 仿真實驗與結果分析

2.1 實驗準備

為了驗證提出方法的性能,采用MATLAB軟件設計仿真實驗。在仿真實驗過程中,遙感圖像數(shù)據(jù)集采用UC-Merced與WHU-RS,數(shù)據(jù)集中遙感圖像種類約為1 000種,遙感圖像數(shù)量約為130萬。另外,仿真實驗相似度利用歐式距離計算,評估標準利用歸一化修改檢索等級ANMRR判斷,常規(guī)情況下,ANMRR數(shù)值越小,表明遙感圖像檢索性能越好。

在仿真實驗過程中,影響實驗結果的因素較多,通過研究發(fā)現(xiàn),池化區(qū)域尺寸是最為關鍵的影響因素,故在實驗準備階段中,需要確定合理的池化區(qū)域尺寸,確保實驗數(shù)據(jù)的精確性。

通過測試得到池化區(qū)域尺寸變化趨勢如圖3所示。

圖3 池化區(qū)域尺寸變化趨勢圖

如圖3所示,橫坐標數(shù)值的雙倍即為池化區(qū)域尺寸。在遙感圖像數(shù)據(jù)集UC-Merced與WHU-RS下,當池化區(qū)域尺寸為5×5時,ANMRR數(shù)值最小,表明遙感圖像檢索性能最好。故確定最佳池化區(qū)域尺寸為5×5。

遙感圖像輸入尺寸也影響著CNN特征的獲取性能,不同輸入尺寸對應平均歸一化檢索秩(Average Normalized Modified Retrieval Rate，ANMRR)數(shù)值如表2所示。

表2 不同輸入尺寸對應ANMRR數(shù)值表 單位：%

如表2數(shù)據(jù)顯示,當輸入尺寸為224×224時,ANMRR數(shù)值較小,則確定最佳輸入尺寸為224×224。

2.2 實驗指標選取

為了精確反映方法的性能,選取查全率、查準率作為仿真實驗指標,計算公式為

(14)

式(14)中,R表示的是查全率;N表示的是反饋檢索結果中與查詢遙感圖像相關的圖像數(shù)量;S表示的是數(shù)據(jù)集中與查詢遙感圖像相關的圖像總數(shù)量;P表示的是查準率;M表示的是檢索反饋遙感圖像總數(shù)量。

常規(guī)情況下,查全率與查準率數(shù)值越高,表明方法檢索性能越好。

2.3 實驗結果分析

依據(jù)實驗準備數(shù)據(jù)進行仿真實驗,將實驗數(shù)據(jù)輸入SPPS軟件中進行整理與計算,得到查全率與查準率數(shù)據(jù),并對其進行分析,得到實驗結論。

通過實驗得到查全率數(shù)據(jù)如表3所示。

表3 查全率數(shù)據(jù)表 單位：%

如表3數(shù)據(jù)所示,提出方法在UC-Merced數(shù)據(jù)集中查全率范圍為79.45%～84.00%,在WHU-RS數(shù)據(jù)集中查全率范圍為84.44%～88.50%,通過對比發(fā)現(xiàn),提出方法查全率均大于標準數(shù)值70.25%。

通過實驗得到查準率數(shù)據(jù)如表4所示。

表4 查準率數(shù)據(jù)表 單位：%

如表4數(shù)據(jù)所示,提出方法在UC-Merced數(shù)據(jù)集中查準率范圍為70.00%～77.15%,在WHU-RS數(shù)據(jù)集中查準率范圍為70.00%～79.41%,通過對比發(fā)現(xiàn),提出方法查準率均大于標準數(shù)值69.45%。

通過上述實驗數(shù)據(jù)顯示:與標準數(shù)值相比較,提出方法的查全率與查準率較高,充分說明提出方法具備更好的檢索性能。

3 結束語

此研究將CNN-CBIR技術引入到遙感圖像分類檢索過程中,極大地提升了遙感圖像檢索的查全率與查準率,為遙感圖像檢索提供了性能更好的方法,也為遙感數(shù)據(jù)應用與發(fā)展提供一定的參考。但是本文的方法在實際應用中會受到學習速度,自適應能力等較多因素的影響,并且該方法的算法精度一定程度上取決于卷積層的特征效果,提取的特征維數(shù)相對較高,需要降維,日后的研究將在這一方面進行完善與提升。