王倩，寧芊，楊曉敏，陳炳才，雷印杰

（1.四川大學(xué)電子信息學(xué)院，成都610065；2.新疆師范大學(xué)物理與電子工程學(xué)院，烏魯木齊830054）

0 引言

隨著硬件技術(shù)的快速發(fā)展，遙感圖像（RSI）的分辨率越來越高。不僅推進(jìn)了遙感技術(shù)的發(fā)展，同時(shí)也催生出一系列基于遙感圖像的算法研究，其中場(chǎng)景分類占有重要的地位，旨在自動(dòng)完成RSI 的分類。RSI 分類在環(huán)境保護(hù)，地質(zhì)調(diào)查和測(cè)量，土地利用和土地覆蓋的確定[1]，礦產(chǎn)勘探等社會(huì)規(guī)劃中有重要作用。對(duì)于RSI分類，特征提取是重要的過程。

近年來，大量關(guān)于RSI 特征提取的方法被提出?，F(xiàn)有的RSI 特征提取研究方法主要分為人工特征提取方法和自動(dòng)特征學(xué)習(xí)方法。人工特征提取方法包括傳統(tǒng)的角點(diǎn)特征提取方法和邊緣特征提取方法。早期，角點(diǎn)特征提取是特征提取的主要方式，例如加速段測(cè)試特征（FAST）[2-3]，定向的FAST 特征和旋轉(zhuǎn)的二元魯棒獨(dú)立初等特征（BRIEF）結(jié)合（ORB）[2]，尺度不變特征變換（SIFT）[4]等。邊緣特征提取的算法廣泛用于像素級(jí)分類，例如羅伯特算子（Roberts operators[5]）和Prewitt算子[5]。方向梯度直方圖特征（HOG）[6]和光柵操作單元（ROPS）[7]等是基于直方圖統(tǒng)計(jì)進(jìn)行局部特征提取，但是在大多數(shù)實(shí)驗(yàn)中，對(duì)語義的表達(dá)較差。人工特征提取方法對(duì)研究人員的經(jīng)驗(yàn)要求很高，并且全局特征的生成對(duì)研究人員和設(shè)備的要求更高，耗時(shí)更多。相比之下，自動(dòng)提取特征的方法更簡(jiǎn)便。

大多數(shù)自動(dòng)提取特征的方法，尤其是基于深度學(xué)習(xí)的方法，對(duì)圖像描述的能力很強(qiáng)。卷積神經(jīng)網(wǎng)絡(luò)AlexNet 最早是由Alex Krizhevsk[8]等提出，相比于初期大大提升了圖像分類效果，由于卷積層比較少，所以對(duì)圖像深層特征提取也不是很充分。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，提出更多深層的網(wǎng)絡(luò)模型，因?yàn)榛谏顚泳矸e神經(jīng)網(wǎng)絡(luò)特征提取的便利性和更好的分類結(jié)果，所以神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于各個(gè)領(lǐng)域的識(shí)別。Wan 等人[9]提出一種合并局部特征的方式，再通過信道編碼形成全局特征，但是局部特征不是很明顯的特征，對(duì)圖像的描述能力相比從卷積神經(jīng)網(wǎng)絡(luò)中提取的特征更差。Liu等人[1]提出將從CaffeNet 和VGG-VD 的卷積層提取的特征融合成深度描述符，再通過Fisher 編碼的方式形成全局特征，但是編碼過程中不像自學(xué)習(xí)模型出來的特征囊括更多有用的特征，導(dǎo)致得到的分類效果沒有很明顯的提升；Cheng 等人[10]研究了基于CNN 方法的卷積特征包（BoCF）的新語義描述，以增加場(chǎng)景分類的效果，使用的是深層的預(yù)訓(xùn)練單模型（GoogleNet、VGGNet）卷積層特征，但是單模型提取的特征比較有限，所以最后的分類效果也不是很理想。

為了解決單模型卷積層特征的不足以及避免處理卷積層特征導(dǎo)致的繁瑣過程，本文先從預(yù)訓(xùn)練模型VGGNet-16 和ResNet-50 全連接層中提取特征，然后根據(jù)PCA 變換與特征融合的先后順序，提出兩種策略用于簡(jiǎn)化特征處理過程以得到較好的分類效果。策略一是分別將兩個(gè)CNN 預(yù)訓(xùn)練模型提取的特征由PCA變換處理，得到有效的特征投影，再進(jìn)行特征融合，最后使用隨機(jī)森林進(jìn)行分類；策略二先融合兩個(gè)CNN 預(yù)訓(xùn)練模型中提取的特征，再進(jìn)行PCA 變換得到有效特征投影，最后輸入到隨機(jī)森林分類器中進(jìn)行訓(xùn)練分類。經(jīng)過實(shí)驗(yàn)驗(yàn)證，兩種策略在UCM 和AID 兩個(gè)數(shù)據(jù)集上均有較好的表現(xiàn)，分類正確率有明顯提升。此外，本文在進(jìn)行分類時(shí)采用的隨機(jī)森林分類器可以減少模型的訓(xùn)練時(shí)間，加快訓(xùn)練過程。

1 原理及方法

1.1 原理描述

（1）PCA 變換

線性降維算法被廣泛應(yīng)用于識(shí)別領(lǐng)域，其中重要的代表是PCA[11]。顧名思義，該算法主要實(shí)現(xiàn)主成分選擇的功能，也是在不損失特征質(zhì)量的前提下壓縮訓(xùn)練過程的主要技術(shù)。在現(xiàn)在的研究中，Wang 等人[12]提出了一種基于線性PCA 的方法（LPCANet[12]），通過合成由LPCANet 獲得的空間信息來縮短源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集之間的空間距離，引入PCA 就是用于特征描述符的區(qū)分和尺寸減小。所以PCA 是通過線性變換將原始特征映射為每個(gè)維度的一組線性獨(dú)立表示。

PCA 數(shù)學(xué)模型如下：

X=x1,x2,…,xm是樣本集，其中X 是m 維數(shù)據(jù)集。在新空間中超平面上的xi投影是WTxi。為了使所有采樣點(diǎn)的投影盡可能分開，應(yīng)盡量增加采樣點(diǎn)的方差。其中XXT可以由（1）得到：

特征矩陣 XXT被分解，得到類似于λ1≥λ2≥…≥λk序列的特征值，對(duì)應(yīng)于前i 個(gè)特征向量W=(W1,W2,…,Wi)是所需要的i 個(gè)主成分。

（2）隨機(jī)森林

現(xiàn)如今，針對(duì)分類問題，提出了很多算法來解決。在目前的獨(dú)立分類器中，隨機(jī)森林[13]和SVM 都被廣泛使用。與SVM 相比，盡管對(duì)于不平衡分類的性能更差，但它在平衡誤差方面更好。特別是在訓(xùn)練速度，擬合能力和計(jì)算成本方面，隨機(jī)森林更強(qiáng)大。隨機(jī)森林分類器由多顆分類回歸樹（CART）組成，對(duì)于每個(gè)樹分類器，訓(xùn)練數(shù)據(jù)集從訓(xùn)練數(shù)據(jù)集中自動(dòng)反向采樣。隨機(jī)森林將每個(gè)樹分類器的結(jié)果合在一起，形成森林分類器。最后的分類結(jié)果是所有的樹分類器分類結(jié)果的平均值。

隨機(jī)森林的數(shù)學(xué)模型主要是CART。在CART 中，區(qū)域R 中每個(gè)類的頻率可以由N 個(gè)樣本表示。在區(qū)域m 中的第k 類訓(xùn)練頻率可以表示為：

其中I 定義為：

對(duì)于隨機(jī)森林，最佳分割點(diǎn)由類的分割純度決定。

對(duì)于純計(jì)算，有三種方法，Gini 不純度，熵（entropy）和錯(cuò)誤率（error）。公式定義如下：

1.2 方法描述

通過對(duì)現(xiàn)存卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，每一種卷積神經(jīng)網(wǎng)絡(luò)都具有很好的分類效果，雖然VGGNet-16 比大部分卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)更多，但是他只含有一個(gè)損失函數(shù)，所以相對(duì)于同期的別的模型，可拓展性更強(qiáng)，而ResNet-50 則是一個(gè)具有可拓展性的輕量型網(wǎng)絡(luò)模型，所以本文選擇VGGNet-16 和ResNet-50 兩種預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型作為特征提取器，提取的特征分別記FeatureV=[v1,v2,…,vk]和FeatureR=[r1,r2,…,rm]，將從兩個(gè)神經(jīng)網(wǎng)絡(luò)得到的特征進(jìn)行融合就得到了融合的特征，如公式（7）所示。在此過程中可以獲取到單模型不具有的特征來形成更加全面的、新的全局特征，從而提高分類的性能。

融合結(jié)果如公式（8）所示：

經(jīng)過對(duì)PCA 的研究，發(fā)現(xiàn)PCA 在特征處理上有很多優(yōu)勢(shì)，不僅可以保持?jǐn)?shù)據(jù)集的主要特征，而且還能降低特征維度，提高效率。由隨機(jī)森林原理可知，其具有很強(qiáng)的數(shù)據(jù)穩(wěn)定性，以及降低訓(xùn)練過擬合等特點(diǎn)，是很優(yōu)秀的分類器。因此，基于上述考慮得出了如圖1 所示方法，此方法首先從VGGNet-16 和ResNet-50 兩種預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型中提取全局特征，隨后根據(jù)PCA變換、特征融合的不同順序，得到相應(yīng)的融合特征，隨后輸入到隨機(jī)森林中進(jìn)行模型的訓(xùn)練及驗(yàn)證。

圖1 本文方法

特征提取是本文算法的一個(gè)先導(dǎo)過程，數(shù)據(jù)集被輸入到VGGNet-16 和ResNet-50 兩種預(yù)訓(xùn)練模型中提取全局特征。全局特征指的是提取的特征和實(shí)際圖片之間的聯(lián)系，非常適合用于圖像分類。在實(shí)驗(yàn)中，預(yù)訓(xùn)練模型僅用作特征提取器。使用CNN 預(yù)訓(xùn)練模型作為特征提取器時(shí)，由于卷積和池化計(jì)算的特性，小部分的圖像偏移不會(huì)影響最后的特征結(jié)果，具有強(qiáng)大的擬合能力，能捕獲圖像中的所有描述，所以提取結(jié)果對(duì)分類結(jié)果幾乎沒有影響。從VGGNet-16 和ResNet-50兩個(gè)預(yù)訓(xùn)練模型中提取的向量都為1×1000。

圖1（a）展示了策略一的特征融合過程，將特征提取步驟中提取的特征先分別對(duì)每一個(gè)樣本進(jìn)行PCA特征變換，每一個(gè)樣本都運(yùn)用相同的PCA 模型以保證每一個(gè)樣本的維度都相同，PCA 映射出來的特征為每一個(gè)樣本比較重要的特征部分；接著對(duì)每一個(gè)樣本進(jìn)行特征融合拼接，得到一個(gè)復(fù)合特征，PCA 比率設(shè)置為95%，對(duì)應(yīng)維度為229；最后將得到的向量輸入到隨機(jī)森林分類器中，進(jìn)行訓(xùn)練，并得到分類結(jié)果。

策略二的特征融合過程如圖1（b）所示，把特征提取過程中提取的每個(gè)特征先進(jìn)行特征融合，得到一個(gè)總的復(fù)合特征，每個(gè)樣本的特征融合結(jié)果都為1í2000得向量，再對(duì)每一個(gè)樣本進(jìn)行PCA 有效特征投影，PCA比率設(shè)置為95%，對(duì)應(yīng)維度為194；再將得到的最終結(jié)果輸入到隨機(jī)森林中進(jìn)行訓(xùn)練并得到分類結(jié)果。

2 模型訓(xùn)練與結(jié)果分析

2.1 數(shù)據(jù)集

在本文中，實(shí)驗(yàn)分別基于兩個(gè)公共RSI 數(shù)據(jù)集上研究。第一個(gè)數(shù)據(jù)集是UC Merced Land Use[4]數(shù)據(jù)集（UCM），摘自美國(guó)地質(zhì)調(diào)查局國(guó)家地圖城市地區(qū)圖像集中的大型圖像，包括全國(guó)各個(gè)城鎮(zhèn)地區(qū)。第二個(gè)數(shù)據(jù)集是通過Google 地球圖像的樣本圖像收集的新的大型公共數(shù)據(jù)集航空?qǐng)D像數(shù)據(jù)集（AID），由Xia[14]等人于2017 年提出。UCM 數(shù)據(jù)集包含21 個(gè)類。每個(gè)類包括100 張圖像，大小為256×256 像素，具有不同的空間結(jié)構(gòu)，顏色分布，區(qū)域覆蓋和對(duì)象覆蓋。AID 數(shù)據(jù)集整個(gè)數(shù)據(jù)集有10000 張圖像，分為30 個(gè)類，每個(gè)類包含200-420 張圖像不等，像素大小也是256×256。

在兩個(gè)數(shù)據(jù)集中，每個(gè)類中80%的圖像用作訓(xùn)練數(shù)據(jù)集，其余圖像用作測(cè)試集。在實(shí)驗(yàn)中，全局特征描述符是從兩個(gè)VGGNet-16 和ResNet-50 預(yù)訓(xùn)練CNN模型中提取出來以后形成的。兩種CNN 模型都是在ImageNet 數(shù)據(jù)集上訓(xùn)練過的。獲得的全局特征描述符的最終維數(shù)為1×1000，經(jīng)過特征處理以后，輸入到隨機(jī)森林分類器中訓(xùn)練和分類。實(shí)驗(yàn)論證了PCA 對(duì)CNN特征的影響，并且展示了所提出的兩種策略在兩種數(shù)據(jù)集上的分類效果以及對(duì)訓(xùn)練效率影響。

2.2 軟硬件環(huán)境

本文提取特征所使用的預(yù)訓(xùn)練網(wǎng)絡(luò)模型為VGGNet-16 和ResNet-50，輸入圖片像素都調(diào)整為224×224×3，每批次輸入一類圖片，輸出的特征向量為1×1000，PCA 模型參數(shù)比例設(shè)置為95%；訓(xùn)練由隨機(jī)森林分類器完成，每個(gè)隨機(jī)森林的決策樹擇優(yōu)范圍設(shè)置為100-1000，步長(zhǎng)設(shè)置為50，最大特征數(shù)設(shè)置為“sqrt”，結(jié)點(diǎn)劃分標(biāo)準(zhǔn)設(shè)置為“gini”，葉子節(jié)點(diǎn)含有的最少樣本設(shè)置為20，其他參數(shù)設(shè)置為默認(rèn)參數(shù)。

實(shí)驗(yàn)的硬件環(huán)境為Intel i7-6700 3.4GHz 的CPU、16G 內(nèi)存和單塊NVIDIA GeForce GTX1070 Ti 顯存6GB 的顯卡，操作系統(tǒng)為Ubuntu16.04 的Linux 操作系統(tǒng)，特征提取框架為Caffe 框架。

2.3 實(shí)驗(yàn)結(jié)果分析

圖2 描述了UCM 數(shù)據(jù)集上所提兩種策略分類的混淆矩陣。測(cè)試集和訓(xùn)練集的比例為1:4，最終得到了策略一（如圖2（a）所示）和策略二（如圖2（b）所示）的混淆矩陣。如混淆矩陣所示，第i 行和第j 列中的數(shù)字代表著將第i 類識(shí)別為第j 類的概率。

在圖2 中，兩種類型的方法的平均分類準(zhǔn)確度分別為85.72%和88.10%。這兩種方法能比較精確識(shí)別出諸如“飛機(jī)”，“農(nóng)業(yè)”，“棒球場(chǎng)”，“叢林”，“森林”，“高爾夫球場(chǎng)”，“海港”，“立交橋”，“網(wǎng)球場(chǎng)”，“河流”等類別（90%的分類準(zhǔn)確度）。從這些類別的RSI 中提取的特征比較好識(shí)別，與別的類別的特征存在較大差異，這有助于正確分類。有些類獲得較差的分類效果，原因可歸結(jié)為這些類別的高維特征太相似，區(qū)分困難，例如“密集住宅”和“中等住宅”，其中包括大量的建筑元素，因此存在混淆。

圖2 UCM數(shù)據(jù)集混淆矩陣

各類別分別為：1.飛機(jī)；2.海灘；3.農(nóng)業(yè)；4.棒球場(chǎng)5.建筑物；6.灌木叢；7.密集居住區(qū)；8.森林；9.公路；10.高爾夫球場(chǎng)；11.海港；12.十字路口；13.中等密集住宅區(qū)；14.拖車住房公園區(qū)；15.立交橋；16.停車場(chǎng)；17.網(wǎng)球場(chǎng)；18.河流；19.飛機(jī)跑道；20.稀疏住宅區(qū)；21.儲(chǔ)存槽區(qū)

在圖3 中，兩個(gè)混淆矩陣分別代表策略一（如圖3.a 所示）和策略二（如圖3.b 所示）。測(cè)試集的比例是訓(xùn)練集的25%?；煜仃囍袛?shù)字的含義與圖2 相同。策略一和策略二的所有類別的總體準(zhǔn)確度分別為81.3%和84.48%。兩種策略在一些類別上都能準(zhǔn)確識(shí)別（94%的分類準(zhǔn)確度），例如“密集住宅”，“沙漠”，“農(nóng)田”，“森林”，“山”，“港口”，“火車站”，“體育場(chǎng)”，“儲(chǔ)罐”，“高架橋”。由于上述類中存在良好識(shí)別對(duì)象或更明顯的特征，它們的分類性能非常好。此外，“大橋”，“市中心”，“旅游區(qū)”，“學(xué)?！焙汀皬V場(chǎng)”的識(shí)別精度不佳，其原因與UCM 數(shù)據(jù)集相同。從兩組混淆矩陣中，策略二的效果比策略一更好是因?yàn)椴呗砸坏木S度比策略二的維度更冗余，這將影響隨機(jī)森林分類器最后的決策。

圖3 AID數(shù)據(jù)集混淆矩陣

各類別分別為：1.飛機(jī)場(chǎng)；2.凸斑地；3.棒球場(chǎng)；4.海灘；5.大橋；6.市中心區(qū)域；7.教堂；8.商業(yè)區(qū)；9.密集居住區(qū)；10.沙漠；11.農(nóng)場(chǎng)；12.森林；13.工業(yè)區(qū)；14.牧地；15.中等密集住宅區(qū)；16.山區(qū)；17.公園；18.停車場(chǎng)；19 游樂場(chǎng)；20.池塘；21.港口；22.火車站；23.旅游區(qū)；24.河流；25.學(xué)校；26.稀疏住宅區(qū)；27.廣場(chǎng)；28.運(yùn)動(dòng)場(chǎng)；29.儲(chǔ)存槽區(qū)；30.高架橋

圖4 展示了兩種策略在兩個(gè)數(shù)據(jù)集上的平均準(zhǔn)確度。隨機(jī)森林里面的分類樹數(shù)量分別包括100,200,300,400 個(gè)分類樹。圖4（a）所示是在UCM 數(shù)據(jù)集上實(shí)驗(yàn)的結(jié)果。對(duì)于策略一和策略二，在分類樹數(shù)超過200后策略二更好。隨著分類樹數(shù)量增加，分類精度也在提高，對(duì)比于單個(gè)的VGGNet-16 和ResNet-50 特征用于訓(xùn)練分類，策略一的準(zhǔn)確度分別提高了大約11.2%和21.5%；策略二提高了大約12.3%和20.6%。

圖4 基于UCM和AID數(shù)據(jù)集的分類結(jié)果

圖4 （b）是實(shí)驗(yàn)在AID 數(shù)據(jù)集上的結(jié)果。從圖可得，對(duì)比單個(gè)的VGGNet-16 和ResNet-50 特征用于訓(xùn)練分類，這兩種策略的分類效果都有所提升。隨著隨機(jī)森林中分類樹的數(shù)量增加，分類準(zhǔn)確度也會(huì)發(fā)生變化，當(dāng)分類樹數(shù)等于300 時(shí)，策略一和策略二的分類效果都達(dá)到最佳，這與UCM 數(shù)據(jù)集的效果略有差異，原因可歸結(jié)為UCM 數(shù)據(jù)集類別的訓(xùn)練集數(shù)量少于AID數(shù)據(jù)集類別的訓(xùn)練集數(shù)量。

表1 列出了UCM 數(shù)據(jù)集的一些最新方法和本文方法的分類準(zhǔn)確度，這些現(xiàn)有方法詳見文獻(xiàn)[1,4,15,16]。與現(xiàn)有方法的比較表明，策略二比文獻(xiàn)[1,4,15,16]中的最佳結(jié)果提高了1.69%，策略一與現(xiàn)有方法的精準(zhǔn)度相當(dāng)。

表1 UCM 數(shù)據(jù)集與現(xiàn)有方法結(jié)果對(duì)比

表2 列出了AID 數(shù)據(jù)集的一些最新方法和本文方法的分類準(zhǔn)確度，這些現(xiàn)有方法在文獻(xiàn)[14]中詳述。與現(xiàn)有方法的比較表明，本文的策略分別都有部分提高。由于特征融合和PCA 轉(zhuǎn)換相結(jié)合的優(yōu)越性，本文的方法對(duì)兩個(gè)數(shù)據(jù)集都有較好的分類效果。

表2 AID 數(shù)據(jù)集與現(xiàn)有方法結(jié)果對(duì)比

表3 中比較了在不同分類器上，訓(xùn)練模型花費(fèi)的時(shí)間。如表所示，使用UCM 數(shù)據(jù)集，VGGNet-16 和ResNet-50 結(jié)合Softmax 分類器的訓(xùn)練的時(shí)間分別需要4376s 和2437s。但是，使用策略一和策略二結(jié)合隨機(jī)森林分類器分別只需要26.68s 和24.81s，縮短了一百多倍。此外，VGGNet-16 和ResNet-50 結(jié)合Softmax 分類器分類準(zhǔn)確率分別為78.3%和82.4%，策略一和策略二結(jié)合隨機(jī)森林的分類準(zhǔn)確率分別為85.72%和88.10%，結(jié)果均高于VGGNet-16 和ResNet-50。從表中可得到，PCA 轉(zhuǎn)換也有助于縮短訓(xùn)練過程，提高訓(xùn)練效率。

表3 UCM 數(shù)據(jù)集不同分類器訓(xùn)練時(shí)間與精度對(duì)比

從圖2 和圖3 中可以發(fā)現(xiàn)，將ResNet-50 和VGGNet-16 的特征應(yīng)用于兩種策略的融合改進(jìn)方法中，比單個(gè)CNN 模型的特征效果更好。從圖4 可以看出，在兩種數(shù)據(jù)集上，策略二比策略一的分類準(zhǔn)確度都高了3%左右；從表1 和表2 也可得出，兩種策略都有較好的分類效果。

綜上，本文提出的策略在分類效果和訓(xùn)練效率上都具有較好的效果。而策略二相對(duì)于策略一來說，雖然在模型訓(xùn)練時(shí)間上差別不是很大，但是在主要特征保留上，策略二更好，其特征對(duì)于圖像的描述能力更強(qiáng)，使得總體的分類效果更好。

3 結(jié)語

本文先從預(yù)訓(xùn)練模型VGGNet-16 和ResNet-50全連接層中提取特征，然后根據(jù)PCA 變換與特征融合的結(jié)合先后順序，以提升特征的描述力。策略一是先對(duì)單個(gè)預(yù)訓(xùn)練模型中提取的特征使用PCA 變換，得到有效的特征映射后，再進(jìn)行特征融合；策略二先融合從兩種預(yù)訓(xùn)練模型提取的特征以后，再進(jìn)行PCA 變換，以得到有效特征投影。根據(jù)實(shí)驗(yàn)證明，與單個(gè)預(yù)訓(xùn)練模型提取的特征相比，所提出的特征融合的兩種策略在UCM 數(shù)據(jù)集和AID 數(shù)據(jù)集上都有較好的效果。PCA 變換加上特征融合可以提高分類精度的性能，兩種策略都可以較好地提高訓(xùn)練效率。