張立亭，喻 欣，羅亦泳，楊靜雯

(東華理工大學 測繪工程學院，江西 南昌 330013)

0 引 言

遙感圖像進行場景分類時，如何精準地提取圖像特征以及高效的進行分類，是實現(xiàn)場景分類的重要前提。遙感圖像的特征提取，其方法大致分為：圖像低層、中層和高層特征。圖像的低層特征包括結(jié)構(gòu)、光譜、紋理特征，它們計算不復雜且容易實現(xiàn)，運用廣泛。中層特征則是利用某種算法對低層特征進行編碼，獲得圖像的中層特征。視覺詞袋模型(BoVW)[1]是該特征中最具代表性的方法。高層特征一般是指卷積神經(jīng)網(wǎng)絡(CNN)模型提取的圖像特征，其提供的是一種端到端的學習模型。除了將CNN模型遷移至遙感圖像數(shù)據(jù)集中微調(diào)后進行分類，也可將CNN提取的某一全連接層進一步編碼。目前大多數(shù)研究中，使用支持向量機(SVM)對圖像特征進行場景分類，多使用網(wǎng)格搜索算法優(yōu)化分類器，其耗時長且驗證冗余。綜合考慮到各層特征中各類算法的性能和效率，以及不同圖像特征之間的特點，本文進行多層次特征提取，在分類時則引入結(jié)構(gòu)相對簡單、尋優(yōu)能力較好的粒子群算法(PSO)，來優(yōu)化支持向量機的參數(shù)，以提升分類效果。本文利用SIFT提取低層特征，再通過聚集局部描述符編碼(VLAD)對SIFT提取的局部特征描述子進行編碼得到中層特征，同時使用預訓練的VGG-16通過遷移學習的方法來提取圖像的高層特征，再將上述提取到的各層特征利用支持向量機(SVM)進行分類，同時采用PSO進行參數(shù)尋優(yōu)，提高遙感圖像場景分類的精度。

1 多層次特征

1.1 圖像低層特征

在本文中，利用SIFT[2]從每張圖像中提取低層特征點。首先利用尺度可變高斯函數(shù)和圖像卷積生成高斯差分尺度空間；然后在尺度空間中檢測極值點，即每一個檢測點與同尺度相鄰的8個點和上下相鄰尺度對應的9個點，共26個點比較。若該檢測點在所有點中為最大或最小值，則該點為特征點；隨后通過擬合函數(shù)來精確確定特征點的位置和尺度；接著通過圖像梯度方向為每個關鍵點分配位置、尺度和方向3個指定方向參數(shù)；最后以數(shù)學方式來定義關鍵過程，以實現(xiàn)對關鍵點的描述。

在本文中，在進行SIFT特征提取時，使用大小為16×16，步長為8像素的滑動窗口，最終每幅圖像得到一個128維的圖像局部特征。

1.2 圖像中層特征

圖像場景分類時，有很多方法可以進行圖像中層特征的提取。在本文中，圖像中層特征是利用VALD算法對SIFT提取的圖像局部描述子進行編碼。VLAD是一種簡化的Fisher Vector，它利用K-means聚類方法代替GMM(高斯混合模型)聚類，充分利用局部特征，計算高效且方便。其具體的步驟[3]如下：

(1)本文局部圖像塊的特征為128維向量X={x1，x2，…，xN}∈R128×N，N為圖像塊數(shù)。利用K-means聚類生成M類，聚類中心為B={b1，b2，…，bM}。

(2)將每個局部描述子賦給離它最近的聚類中心，然后所有局部描述子與聚類中心的差值做累加，即

(1)

式中：NN(xt) 表示離xt最近的聚類中心。

(3)對差值和vi做L2歸一化，拼接成一個K=M×128的一維向量

v=[v1，v2，…，vM]=[v1，v2，…，vK]

(2)

K-means聚類的缺點之一是對碼本大小(即M)敏感。在本文中，根據(jù)文獻[4]選擇碼本大小進行特征編碼。

1.3 圖像高層特征

卷積神經(jīng)網(wǎng)絡作為深度學習中最常用的一種網(wǎng)絡模型，其提取的圖像高層特征，既可用于直接分類，也可以提取出來再繼續(xù)處理。目前，被廣泛使用的CNN模型包括VGGNet系列、GoogLe Net系列、ResNet系列和Alex Net等。由于VGG-16模型具有層數(shù)較少，性能較高等優(yōu)點，本文利用預訓練的VGG-16對遙感圖像進行高層特征的提取。

Simonyan K等提出VGG-16網(wǎng)絡模型：13個卷積層：內(nèi)核大小為3×3，步長為1×1；5個池化層：內(nèi)核大小為2×2，步長為1×1；3個全連接層；1個Softmax層。該網(wǎng)絡首層卷積通道數(shù)為64，隨著層數(shù)的增加翻倍，最多為512個通道，后不再變化。在卷積層之后是3個全連接層，兩個全連接層通道為4096維和一個用于Softmax通道為1000維。文獻[5]指出，全連接層所提取特征的分類效果始終優(yōu)于卷積層提取的特征。前兩個全連接層，它們進行分類的結(jié)果大致相同，但在大多數(shù)情況下，第一個全連接層的特征表現(xiàn)稍好。至于最后一個全連接層，因為它實際上是一個Softmax層，只是通過特定任務計算每個已定義類別的分數(shù)，該圖層不像以前的圖層那樣包含太多一般要素信息。因此，本文選擇使用VGG-16模型的第一個全連接層提取特征作為全局特征。

2 粒子群算法優(yōu)化SVM參數(shù)

支持向量機是被廣泛應用的機器學習方法，其核心思想是尋找一個最優(yōu)的分類超平面，將待分類的兩類樣本正確分開，使兩類樣本點到超平面的間隔盡可能大。它在處理小樣本、高維數(shù)和非線性等問題上表現(xiàn)良好，并且在解決分類問題上有很大的優(yōu)勢，被廣泛應用于分類領域。

核函數(shù)選擇不同使SVM形成不同的分類器，其常用的核函數(shù)類型包括線性核、多項式核、徑向基(RBF)核和Sigmoid核函數(shù)4類。本文的SVM選擇RBF核函數(shù)，而核函數(shù)的參數(shù)選取對分類結(jié)果影響很大，影響核函數(shù)的參數(shù)為懲罰因子和核函數(shù)參數(shù)。因此，需要選擇合適的參數(shù)以提升分類效果。針對參數(shù)的選擇問題，尚未有統(tǒng)一的方法。傳統(tǒng)的方法包括交叉驗證法、網(wǎng)格搜索法等，但存在耗時長以及冗余的驗證流程等問題，使用更多的是群智能算法，如遺傳算法、粒子群算法(PSO)和量子粒子群算法等優(yōu)化SVM參數(shù)?？紤]到粒子群算法結(jié)構(gòu)簡單且尋優(yōu)能力較好，本文利用PSO算法優(yōu)化SVM參數(shù)，其具體步驟[6]如下：

(1)參數(shù)初始化，包括種群規(guī)模，粒子的初始位置和速度；

(2)通過K折交叉驗證確定每個初始化粒子的適應度值，即交叉驗證所得到的分類準確率。

(3)根據(jù)式(3)、式(4)，來更新粒子的位置和速度

vi=wvi+c1r1(pbesti-xi)+c2r2(gbesti-xi)

(3)

xi=xi+vi

(4)

其中，xi=(x1，x2，…，xn) 為粒子的當前位置；vi=(v1，v2，…，vn) 為粒子速度；pbest為粒子i的個體最優(yōu)解；gbest為粒子群的全局最優(yōu)解；c1和c2為學習因子，是常數(shù)；r1和r2是0～1的隨機數(shù)；w為慣性因子。

(4)將每個粒子的當前適應度值與粒子個體極值進行比較，若優(yōu)于個體極值則替換；再將當前個體極值與全局極值比較，若優(yōu)于全局極值則替換。

(5)若當前未滿足終止條件，則循環(huán)執(zhí)行步驟(3)，直至達到終止條件為止。

(6)將優(yōu)化得到的參數(shù)值C和g輸出，利用SVM進行分類預測。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集

目前，已經(jīng)有很多公開的數(shù)據(jù)集可用于遙感圖像場景分類的性能評估。本文采用RSC11數(shù)據(jù)集和WHU-RS19數(shù)據(jù)集進行實驗。

RSC11數(shù)據(jù)集[7]是從谷歌地球中提取的，該數(shù)據(jù)集覆蓋了包括華盛頓、洛杉磯、舊金山、紐約、圣地亞哥、芝加哥和休斯頓在內(nèi)的多個美國城市的高分辨率遙感圖像。使用了紅、綠、藍3個光譜波段，包括密林(denseforest)、草原(grassland)、港口(harbor)、高層建筑(highbuil-dings)、低層建筑(lowbuildings)、立交橋(overpass)、鐵路(railway)、住宅區(qū)(residentialarea)、道路(roads)、疏林(sparseforest)、儲罐(stroagetanks)11個復雜場景類。一些場景類別在視覺上非常相似，這增加了識別場景圖像的難度。數(shù)據(jù)集共包含1232張圖像，每類約100張。每張圖像的大小為512×512像素，空間分辨率為0.2 m。圖1為RSC11數(shù)據(jù)集中各類圖像的示例。

圖1 RSC11數(shù)據(jù)集中各類圖像示例

WHU-RS19于2010年發(fā)布[8]。經(jīng)過幾次擴展，最終版本由19個類別組成，共1005張圖像[9]?？臻g分辨率高達0.5 m，光譜波段為紅、綠、藍，圖像像素為600×600，包括機場(airport)、海灘(beach)、橋梁(bridge)、商業(yè)區(qū)(commercial)、沙漠(desert)、農(nóng)田(farmland)、足球場(footballField)、森林(forest)、工業(yè)區(qū)(industrial)、草地(meadow)、山區(qū)(mountain)、公園(park)、停車場(parking)、池塘(pond)、港口(port)、火車站(railwayStation)、住宅區(qū)(residential)、河流(river)、高架橋(viaduct)19個場景類別。由于該數(shù)據(jù)集中的圖像提取自世界不同地區(qū)，相應的場景圖像在規(guī)模、方向、分辨率和光照方面都有很大的差異。圖2為WHU-RS19數(shù)據(jù)集中各類圖像的示例。

圖2 WHU-RS19數(shù)據(jù)集中各類圖像示例

3.2 評價指標

本文采用2個指標來評價遙感圖像數(shù)據(jù)集的場景分類性能：總體分類精度和混淆矩陣。

總體分類精度為

(5)

式中：N為數(shù)據(jù)集的樣本總數(shù)；Z為分類正確的樣本數(shù)。

混淆矩陣是一個更直接的評價指標，允許直接可視化每個類的分類性能。矩陣的每一列代表一個預測類中的實例，每一行代表一個實際分類中的實例，因此矩陣的每一項xij代表的是實際上屬于第i種類型的圖像，預測為第j種類型的圖像占i類別樣本的比例。

3.3 實驗架構(gòu)

本文實驗的總體流程如圖3所示。

圖3 實驗總體流程

本文實驗內(nèi)容分為兩部分：在實驗一中，利用SIFT、VLAD(SIFT)、VGG-16分別提取各層特征作為SVM的輸入數(shù)據(jù)，按訓練集占總數(shù)據(jù)集的比例0.1，0.2，…，0.9， 隨機劃分訓練集和測試集，依次進行分類實驗，取10次實驗的平均值作為最終的分類準確率。分類時，懲罰因子C設為1，核函數(shù)參數(shù)g設為1。在實驗二中，選取每個數(shù)據(jù)集中分類準確度最高的方法，采用粒子群優(yōu)化算法，算法中涉及到交叉驗證的過程，K設為5，輸出優(yōu)化參數(shù)C和g，獲得優(yōu)化后的分類精度。本文中使用的是由臺灣林智仁老師等開發(fā)完成的LIBSVM工具箱。

3.4 結(jié)果分析

3.4.1 各層特征分類結(jié)果分析

各層特征進行分類的結(jié)果見表1，在文中的兩個數(shù)據(jù)集上，隨著訓練集占比越重，分類精度均有所提升，占比達到0.9時，分類效果最佳。利用VGG-16提取的高層特征分類效果最好，其次是利用VLAD編碼得到中層特征的分類效果，而利用SIFT提取的低層特征分類效果最差。主要是因為卷積神經(jīng)網(wǎng)絡可以訓練得到圖像的高層特征，比獲得較低層特征的方法相比，具有更好的分類性能，RSC11數(shù)據(jù)集的分類精度為92.91，WHU-RS19數(shù)據(jù)集的分類精度為95.89。

表1 各層特征分類精度

使用本文方法對RSC11和WHU-RS19數(shù)據(jù)集的分類識別率分別如圖4和圖5所示(圖中每類內(nèi)的柱狀排列順序依次為0.1～0.9)。各分類的識別率大致呈現(xiàn)低層特征<中層特征<高層特征，且隨著訓練集的占比增加而提升，也存在少數(shù)降低的情況，可能是由于訓練集是根據(jù)占比隨機選取組成所導致的。RSC11的各個類別中，立交橋(overpass)和鐵路(railway)的分類效果較差，該類中存在較多的交通設施類，包含的場景類別較為復雜。而WHU-RS19中，森林(forest)和港口(port)的分類效果較差，其受光照、方向等方面的影響，同類的場景圖像間差異大，容易錯分入其他近似的類別中。綜上所述，在不同的場景類別中，紋理差異性小的類別分類精度較高，如農(nóng)田(farmland)、沙漠(desert)等，而對于包含多種地物的復雜場景分類精度較低，如立交橋(overpass)、建筑物等，特別是同種地物根據(jù)覆蓋屬性劃分為不同類別，如高層建筑和低層建筑等。

圖4 RSC11數(shù)據(jù)集場景分類準確率

圖5 WHU-RS19數(shù)據(jù)集場景分類準確率

3.4.2 PSO優(yōu)化SVM的分類結(jié)果分析

圖6為PSO-SVM算法在RSC11和WHU-RS19數(shù)據(jù)集上粒子的適應度收斂情況。表2為在本文兩個數(shù)據(jù)集上PSO-SVM算法的表現(xiàn)，表中記錄了優(yōu)化后的參數(shù)C和g，訓練集交叉驗證的平均分類準確率(CV)以及測試集的分類精度。圖7、圖8為PSO-SVM算法下，測試集的混淆矩陣。

表2 數(shù)據(jù)集實驗結(jié)果

圖6 PSO-SVM優(yōu)化結(jié)果

圖7 RSC11數(shù)據(jù)集分類結(jié)果混淆矩陣

圖8 WHU-RS19數(shù)據(jù)集分類結(jié)果混淆矩陣

從表2中可以看出，RSC11數(shù)據(jù)集只在測試集上的分類效果較好，測試集上的交叉驗證分類準確率稍有下降，而WHU-RS19數(shù)據(jù)集上，PSO-SVM算法在訓練集上的交叉驗證分類準確率以及測試集上的分類結(jié)果均明顯優(yōu)于未進行參數(shù)尋優(yōu)的分類結(jié)果。從數(shù)據(jù)集的分類識別率分析，前者的識別率大部分有所提高，有少部分稍微下降，高層建筑(highbuildings)的識別率最低，其次是立交橋(overpass)、道路(roads)，且存在相互錯分的情況。高層建筑所包含的地物類別復雜，與其它錯分類中均有一定的相似之處，另外兩類均屬于交通設施類，類間差異小，提取的特征內(nèi)容受影響較多，對分類效果造成一定影響。后者的識別率大部分都有提高至100%，而足球場(footballField)、山區(qū)(mountain)、高架橋(viaduct)的識別率均有所下降，分別錯分入工業(yè)區(qū)(industrial)、河流(river)、機場(airport)中，由于足球場、山區(qū)、高架橋這幾類圖像在某些特征上與其錯分的類別比較相似，不易區(qū)分。

綜上所述，PSO-SVM算法在一定程度上可以提高數(shù)據(jù)集的分類效果，且在不同的數(shù)據(jù)集上效果不同。

3.4.3 WHU-RS19數(shù)據(jù)集不同分類方法分類性能對比

WHU-RS19數(shù)據(jù)集是最常用的遙感圖像場景分類數(shù)據(jù)集之一，為了驗證本文方法的優(yōu)越性，將本文方法在該數(shù)據(jù)集上的表現(xiàn)結(jié)果與其它文獻方法所得結(jié)果進行對比，見表3。

表3 WHU-RS19數(shù)據(jù)集不同分類方法對比

由表2可知，本文方法相比其它的方法，分類結(jié)果提升了1%～3.7%左右，從而說明了本文方法的有效性。利用提取的圖像特征進行場景分類時，通過PSO優(yōu)化SVM參數(shù)，可以使分類效果更佳。

4 結(jié)束語

本文提出了多層次特征提取結(jié)合PSO-SVM的圖像場景分類算法。利用SIFT算法、VLAD算法以及VGG-16模型分別提取遙感圖像的低、中、高層特征，將提取的特征作為SVM的輸入數(shù)據(jù)，按訓練集占總數(shù)據(jù)集的比例0.1，0.2，…，0.9， 隨機劃分進行實驗，得出：在提取的3種特征中，高層特征分類效果最好，中層特征次之，低層特征最差。在參數(shù)優(yōu)化的實驗中，選擇CNN獲得的高層特征，占比則為0.9，利用PSO算法優(yōu)化SVM的懲罰參數(shù)(C)和核函數(shù)參數(shù)(g)，得到各數(shù)據(jù)集的分類準確率。通過本文兩個數(shù)據(jù)集的分類結(jié)果，可以明顯看出，該方法比實驗一方法的分類結(jié)果好，且較以往的方法也有一定的提升。但是，本文所使用的方法也存在一定程度的不足，如提取的特征未實現(xiàn)融合，不同的數(shù)據(jù)集適用于不同的分類器等。下一步的的工作將針對特征加權融合，和分類器的適用性問題，以更好提升場景分類效果。