何剛 霍宏 方濤

摘要：針對單一特征在場景分類中精度不高的問題，借鑒信息融合的思想，提出了一種兼顧特征級融合和決策級融合的分類方法。首先， 提取圖像的尺度不變特征變換詞包（SIFTBoW）、Gist、局部二值模式（LBP）、Laws紋理以及顏色直方圖五種特征。然后， 將每種特征單獨對場景進行分類得到的結(jié)果以DezertSmarandache理論（DSmT）推理的方式在決策級進行融合，獲得決策級融合下的分類結(jié)果；同時， 將五種特征串行連接實現(xiàn)特征級融合并進行分類，得到特征級融合下的分類結(jié)果。最后， 將特征級和決策級的分類結(jié)果進行自適應的再次融合完成場景分類。在決策級融合中，為解決DSmT推理過程中基本信度賦值（BBA）構(gòu)造困難的問題， 提出一種利用訓練樣本構(gòu)造后驗概率矩陣來完成基本信度賦值的方法。在21類遙感數(shù)據(jù)集上進行分類實驗，當訓練樣本和測試樣本各為50幅時，分類精度達到88.61%，較單一特征中的最高精度提升了12.27個百分點，同時也高于單獨進行串行連接的特征級融合或DSmT推理的決策級融合的分類精度。

關(guān)鍵詞：場景分類；特征級融合；決策級融合；DezertSmarandache理論推理；基本信度賦值；遙感影像

中圖分類號：TP391.4 文獻標志碼：A

Abstract： Since the accuracy of single feature in scene classification is low， inspired by information fusion， a classification method combined featurelevel and decisionlevel fusion was proposed. Firstly， Scale Invariant Feature TransformBag of Words （SIFTBoW）， Gist， Local Binary Patterns （LBP）， Laws texture and color histogram features of image were extracted. Then， the classification results of every single feature were fused in the way of DezertSmarandache Theory （DSmT） to obtain the decisionlevel fusion result； at the same time， the five features were serially connected to generate a new feature， the new feature was used to classification to obtain the featurelevel fusion result. Finally， the featurelevel and decisionlevel fusion results were adaptively fused to finish classification. To solve the Basic Belief Assignment （BBA） problem of DSmT， a method based on posterior probability matrix was proposed. The accuracy of the proposed method on 21 classes of remote sensing images is 88.61% when training and testing samples are both 50， which is 12.27 percentage points higher than the highest accuracy of single feature. The accuracy of proposed method is also higher than that of the featurelevel fusion serial connection or DSmT reasoning decisionlevel fusion.

Key words：scene classification； featurelevel fusion； decisionlevel fusion； DezertSmarandache Theory （DSmT） reasoning； Basic Belief Assignment （BBA）； remote sensing image

0 引言

場景分類的主要目的是研究如何使計算機把圖像分類到特定的語義類別，往往需要建立從圖像低層特征到高層語義之間的映射，是圖像理解、視覺領(lǐng)域的一個近年來的研究熱點[1-5]。目前用于場景分類的特征可分為兩大類：一類是顏色、形狀、紋理等低層特征[3-5]，通過直接將這些低層特征映射到高層場景語義來進行分類；另一類是Gist、詞包模型（Bag of Words，BoW）等中層語義特征[6-8]，通過借助中層語義特征縮短低層特征到高層場景之間的語義鴻溝來進行分類。Olivia等[6]采用并改進了Gist特征，Gist特征將整幅場景作為對象進行描述，忽略場景中的物體等局部信息，易于計算，在室外場景分類中有較好的表現(xiàn)。Sivic等[7]提出視覺詞包的概念，將文本分析中的BoW模型應用到場景的分類中，通過統(tǒng)計圖像局部特征的分布信息來表達圖像內(nèi)容。但由于場景本身具有復雜性和多樣性且還受到拍攝角度、光線等多種因素的影響[2]，所以僅僅依靠上述單一特征對場景分類并不能達到實際應用中對分類精度的要求。

當人們發(fā)現(xiàn)難以通過單一特征信息來處理場景分類這一復雜問題時，一些學者開始采用信息融合的方法來進行場景分類研究[9-12]。信息融合按照其進行的層次可被分為數(shù)據(jù)級融合、特征級融合和決策級融合。在特征級融合方面，大多采用基于串行連接的融合方法，基于串行連接的特征級融合是指將各特征首尾相連融合成新特征。肖保良[11]將Gist特征和分層梯度方向直方圖（Pyramid Histogram of Oriented Gradients， PHOG）特征相融合用于場景分類，分類精度相對于單一特征提升了2.5%。在決策級融合方面，基于多分類器組合的方法得到了廣泛研究，劉帥等[12]將多個不同特征訓練的支持向量機（Support Vector Machine， SVM）分類器結(jié)果進行融合并用于遙感圖像分類，分類精度相比單分類器也有較大提升。但這些融合方法大多只在信息融合的某一個層次進行，不能充分利用不同層次融合之間的互補信息，并沒有充分發(fā)掘信息融合的優(yōu)勢。

因此本文借鑒信息融合思想，針對單一特征信息在場景分類中精度不高的問題進行了新的探索，提出了一種兼顧特征級融合和決策級融合的場景分類方法，該方法在充分利用不同特征之間的互補信息的同時還能夠?qū)Σ煌诤蠈哟沃g的互補信息加以利用。首先提取待分類圖像的尺度不變特征變換詞包（Scale Invariant Feature TransformBag of Words， SIFTBoW）特征[7]、Gist特征、局部二值模式（Local Binary Patterns， LBP）紋理特征[13-15]、Laws紋理特征[16]和顏色直方圖特征[17]，以提供多個角度的場景信息描述；然后將上述特征信息單獨使用的分類結(jié)果以DezertSmarandache理論（DezertSmarandache Thoery， DSmT）推理的方式在決策級進行融合，得到?jīng)Q策級融合下的分類結(jié)果；同時將上述特征信息串行連接在特征級進行融合并分類，得到特征級融合下的分類結(jié)果；最后，將特征級和決策級的分類結(jié)果進行自適應的再融合完成場景分類。為解決DSmT推理中基本信度賦值（Basic Belief Assignment， BBA）構(gòu)造困難的問題，本文首先利用訓練樣本構(gòu)造后驗概率矩陣，然后通過后驗概率矩陣來完成基本信度賦值。

1 相關(guān)工作

1.1 場景特征提取

場景特征的提取對于后續(xù)的分類工作至關(guān)重要，本文主要提取SIFTBoW特征、Gist特征、LBP紋理特征、Laws紋理特征和顏色直方圖五種特征來提供對場景的多個角度的描述信息。SIFTBoW特征選取具有尺度、旋轉(zhuǎn)和光照不變性的SIFT描述子作為局部特征并統(tǒng)計整幅場景的局部特征分布信息來表達場景內(nèi)容，從場景的局部構(gòu)成角度對場景進行描述。Gist特征是一種生物啟發(fā)特征，通過多尺度多方向的Gabor濾波器組對場景濾波來得到場景的整體輪廓信息，從全局角度對場景進行描述。LBP和Laws紋理分別采用統(tǒng)計和信號處理的方式，從紋理角度對場景進行描述。顏色直方圖是一種被廣泛使用的全局描述算子，計算簡單且具有較高的魯棒性，能夠從色彩空間角度對場景進行描述。上述五種特征信息能夠從局部、全局、紋理和色彩空間等多個角度來描述場景，在場景分類應用中得到了廣泛的使用，但由于單一特征信息表達的場景具有片面性，僅使用其中任意一種特征來進行場景分類并不能取得令人滿意的結(jié)果，所以需要通過信息融合的方式來綜合這些不同角度的描述信息以完成場景分類工作。這些特征提取方法的具體內(nèi)容詳見參考文獻，本文不再贅述。

1.2 信息融合

信息融合一般可劃分為三個層次的融合：數(shù)據(jù)級融合、特征級融合和決策級融合。數(shù)據(jù)級融合將同一目標的不同信息來源的原始數(shù)據(jù)進行融合，常見于多譜段數(shù)據(jù)分析、多源圖像復合等應用。特征級融合將來自同一對象的不同特征數(shù)據(jù)進行融合，常見的方法主要有串行連接（Serial Concatenate）、并行連接（Parallel Concatenate）、加權(quán)疊加和基于神經(jīng)網(wǎng)絡的方式[18]，其中，研究最成熟的是基于串行連接的方式。決策級融合是對各分類器輸出結(jié)果進行融合，常見方法有投票法、加權(quán)平均法和DempsterShafer理論（DempsterShafer Theory， DST）推理及其擴展等方法。本文為了利用不同融合層次之間的互補信息，在特征級和決策級分別選取了基于串行連接和基于DSmT[19-22]推理的融合方法，下面主要介紹DSmT融合理論。

1.2.1 DSmT融合理論

DSmT是對傳統(tǒng)DST的擴展，主要用于處理不確定、高沖突和不精確的信息源融合問題。在模式識別領(lǐng)域，DSmT理論多用于對多個分類器輸出進行決策級融合。DSmT理論跟DST理論最大的不同就是在辨識框架中加入了沖突信息。設(shè)Θ={θ1，θ2}為一個辨識框架，DST理論在冪集2Θ={θ1，θ2，θ1∪θ2}上進行基本信度賦值，DSmT則在超冪集DΘ={θ1，θ2，θ1∪θ2，θ1∩θ2}上進行基本信度賦值。由于在超冪集中有交運算的存在，這就使得辨識框架中保留了矛盾焦元。文獻[20]中提出了多種比例沖突分配規(guī)則，用來解決融合過程中產(chǎn)生的矛盾焦元。本文選擇其中的第5種比例沖突分配規(guī)則（Proportional Conflict Redistribution rules No.5，PCR5）來處理產(chǎn)生的矛盾焦元。

1.2.2 基本信度賦值

設(shè)有辨識框架Θ={θ1，θ2，…，θn}， DSmT模型的超冪集DΘ為由Θ中的所有元素及通過∪和∩運算產(chǎn)生的所有子集組成的集合[20]，則基本信度賦值定義為從DΘ到[0，1]的一個映射，記作m（·）：DΘ→[0，1]，具體定義為：

m（）=0且∑A∈DΘm（A）=1（1）

然而，在實際應用中基本信度賦值的構(gòu)造往往是一大難點，通過距離函數(shù)或指數(shù)函數(shù)等方法能夠進行信度賦值，但需要付出比較大的計算代價。

2 基于信息融合的場景分類框架

本文提出的基于信息融合的場景分類框架如圖1所示，首先通過特征提取模塊對一幅待分類的場景圖像提取SIFTBoW特征、Gist特征、LBP紋理特征、Laws紋理特征和顏色直方圖特征；然后在信息融合模塊將提取的特征分別用于特征級融合子模塊和決策級融合子模塊，并將特征級融合子模塊和決策級融合子模塊的結(jié)果通過再融合子模塊進行自適應的再融合；最后根據(jù)再融合子模塊的結(jié)果來輸出分類結(jié)果?，F(xiàn)對其中一些具體內(nèi)容和流程進行闡述。

2.1 DSmT融合模型

本文將DSmT融合方法用于決策級融合子模塊和再融合子模塊，僅對超冪集空間中的單子焦元進行信度賦值，即對于超冪集空間DΘ={θ1，θ2，θ1∪θ2，θ1∩θ2}，只對θ1和θ2進行信度賦值，而θ1∪θ2和θ1∩θ2信度賦值為零。具體到本文的N個場景類別，有DΘN={θ1，θ2，…，θN}，其中θ1，θ2，…，θN分別表示N個不同的場景類別。采用DSmT經(jīng)典組合規(guī)則進行組合，并利用PCR5分配規(guī)則對融合過程中產(chǎn)生的矛盾焦元質(zhì)量進行分配。

3 實驗結(jié)果及分析

本文的實驗在VS2010平臺上進行，SVM分類器采用Libsvm軟件包，采用徑向基函數(shù)（Radial Basis Function， RBF），并通過網(wǎng)格搜索法（Grid Search）和五折交叉驗證（5Cross Validation）進行參數(shù)優(yōu)化，后續(xù)的分類實驗均用SVM作為分類器。對SIFTBoW特征取600個單詞；對Gist特征取4×4網(wǎng)格劃分圖像，每個圖像塊用4個尺度8個方向的Gabor濾波器處理得到512維特征向量；對LBP紋理特征采用均勻模式[14]得到59維特征向量；對Laws紋理特征采用14個模板來對圖像進行卷積，并分別統(tǒng)計它們得到的均值、標準差、偏度、峰度4個特征量，得到共56維的特征向量；對顏色直方圖特征在HLS（HueLightnessSaturation）空間將每個分量分別量化為8等分，得到512維特征向量。

3.1 實驗數(shù)據(jù)

本文采用的數(shù)據(jù)集是由美國地質(zhì)勘探局（United States Geological Survey，USGS）提供的21類遙感數(shù)據(jù)集，該數(shù)據(jù)集中圖像均來自QuickBird傳感器，包括農(nóng)田、飛機、棒球場等共21類遙感場景，每類場景共有100幅圖像，共2100幅圖像，大小均為256×256。本文從每類場景中隨機選取50幅作為訓練集，余下50幅作為測試集進行實驗，后續(xù)實驗若無特別說明，都是采用該比例選取訓練樣本和測試樣本。

3.2 SIFTBoW特征單詞個數(shù)的設(shè)定

對SIFTBoW特征來說，詞典中單詞的個數(shù)是影響其分類性能的一個很大因素，過少的單詞數(shù)無法提供足夠的分類信息，過多的單詞數(shù)不僅會帶來計算復雜度的提升，且也無法保證能帶來更高的精度。本文將SIFTBoW特征的單詞設(shè)置為200、300、400、500、600、700、800、1000、1500，對實驗數(shù)據(jù)進行10次重復實驗，對其結(jié)果取平均值，各單詞數(shù)的分類結(jié)果如圖2所示。

從圖2結(jié)果可知，隨著單詞個數(shù)的增多，分類精度曲線先是呈上升趨勢，在600個單詞時達到峰值，而后開始下降。這是因為過少的單詞數(shù)會導致差異較大的圖像塊被分配到同一視覺詞匯，降低模型的描述能力；而過多的單詞數(shù)又會導致相似的圖像塊被分配到不同的視覺詞匯，降低模型的泛化能力。所以本文后續(xù)用到的SIFTBoW特征都采用600個單詞，因為此時模型在描述能力和泛化能力之間取得了平衡，擁有最優(yōu)的分類精度。

3.3 本文方法及單特征對比實驗

利用本文方法（融合閾值T設(shè)為0.85）和5種單一特征在實驗數(shù)據(jù)集上進行分類實驗，共進行10次重復實驗，分類精度如圖3所示，其中單特征中分類精度最高的是LBP紋理特征，10次實驗的平均精度為76.34%；最低的是顏色直方圖特征，10次實驗的平均精度是63.57%。其余的SIFTBoW、Gist和Laws紋理特征的平均分類精度分別為73.60%、70.17%和64.63%。而本文方法10次實驗的平均精度達到88.61%，比單特征分類中的最高精度高12.27個百分點。

從圖3可以看出，單一特征由于本身只能提供相對有限的場景描述信息，所以無法取得令人滿意的分類結(jié)果。而本文的融合方法能夠充分利用各特征之間的互補信息，獲得足夠的場景描述信息從而較為明顯地提升分類精度。

3.4 本文方法及其他融合方法對比實驗

將本文方法與特征串聯(lián)（相當于單獨使用特征級融合子模塊）、DSmT推理（相當于單獨使用決策級融合子模塊）、多數(shù)票法和完全一致法等融合方法作比較。多數(shù)票法根據(jù)5個分類器的類別輸出進行投票，將得到票數(shù)最多的類別作為結(jié)果輸出。完全一致法則要5個分類器的結(jié)果都一致時才輸出結(jié)果，否則拒判。在實驗數(shù)據(jù)集上進行10次重復實驗。實驗結(jié)果如圖4所示。其中由于完全一致法平均精度（31.47%）與其他三種方法相差太多，為了清晰呈現(xiàn)實驗結(jié)果，并未在圖中給出。

由于多數(shù)票法和完全一致法只是對多個分類結(jié)果的簡單統(tǒng)計，并沒有考慮分類結(jié)果中的不確定性，所以分別只取得了84.00%和31.47%的平均分類精度?；谔卣鞔?lián)的融合方法和基于DSmT推理的融合方法分別在特征級和決策級進行融合分類，它們的平均分類精度分別為85.20%和86.48%。而本文提出的兼顧特征串聯(lián)和DSmT推理的融合方法能夠利用特征級融合和決策級融合之間的互補信息，進一步將平均分類精度提升到88.61%。

3.5 再融合子模塊閾值T的討論

在再融合子模塊中的閾值T，用來自適應地判斷是否對特征級融合結(jié)果VF和DSmT決策級融合結(jié)果VD進行再融合。當VF和VD中的最大元素xj（j=1，2，…，N）大于設(shè)定閾值T時，認為這一級作出的判斷具有足夠的可信度，取xj對應的類別作為最終分類結(jié)果C；若不大于閾值T，則表示特征級融合的結(jié)果和決策級融合的結(jié)果不足以作出判斷，還需將它們再進行DSmT融合。對T取不同值的實驗結(jié)果如表1所示，其中識別率表示根據(jù)閾值T不需對VF和VD進行DSmT融合就作出的判決數(shù)J0和總判決數(shù)J的比值，正確識別率表示J0中被正確分類的比例，總分類精度表示整個框架的分類精度。

從表1可以看出，隨著T值的增大，總分類精度開始上升，當T值增大到一定范圍后，總分類精度趨于穩(wěn)定，不再上升。由于T值越大，判決條件越嚴苛，越多的判決結(jié)果需要對VF和VD進行DSmT融合后才能得到，計算量也越大。可以通過在不同的閾值T下進行分類實驗來得到一個最優(yōu)的閾值T0，使得閾值T0能夠在保證分類精度的同時足夠小，以減少計算量。本文在閾值T為0.85和1時處理單張圖片的時間分別為19ms和22ms，可見設(shè)定合理的閾值能夠在保證分類精度的同時提升分類速度。

4 結(jié)語

本文針對單一特征在場景分類應用中表達信息不全、分類精度不高的問題，提出了一種兼顧特征級融合和決策級融合的場景分類方法。該方法有效地結(jié)合了基于串行連接的特征級融合和基于DSmT推理的決策級融合方法，在充分利用不同特征之間的互補信息的同時還能夠?qū)Σ煌诤蠈哟沃g的互補信息加以利用，提高了分類精度。在21類遙感數(shù)據(jù)集上采用每類50個訓練樣本和50個測試樣本進行實驗，分類精度達到88.61%，高于5種特征單獨使用的分類精度，同時也比單獨進行基于串行連接的特征級融合或基于DSmT推理的決策級融合更為有效。該方法通過設(shè)定合理的閾值能夠在保證分類精度的同時，提高分類速度。如何對框架進行改進以便其更好地用于分類將是本文后續(xù)的研究問題，比如可以通過進一步在框架中增加特征選擇等方法來對減少特征數(shù)據(jù)之間的冗余，以便提高基于該框架下的場景分類性能。

參考文獻：

[1]CHERIVADAT A M. Unsupervised feature learning for aerial scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing， 2014， 52（1）： 439-451.

[2]李學龍，史建華，董永生， 等. 場景圖像分類技術(shù)綜述[J].中國科學：信息科學， 2015， 45（7）： 827-848. （LI X L， SHI J H， DONG Y S， et al. A survey on scene image classification[J]. Scientia Sinica： Informations， 2015， 45（7）： 827-848.）

[3]ZHOU L， ZHOU Z， HU D. Scene classification using multiresolution lowlevel feature combination[J]. Neurocomputing， 2013， 122： 284-297.

[4]KAPELA R， MCGUINNESS K， OCONNOR N E. Realtime field sports scene classification using colour and frequency space decompositions[J/OL].（2014-06-08）[2015-10-21].DOI 10.1007/s1155401404377.

[5]李錦鋒，許勇. 基于LBP和小波紋理特征的室內(nèi)室外場景分類算法[J]. 中國圖象圖形學報， 2010， 15（5）：742-748.（LI J F， XU Y. Indooroutdoor scene classification algorithm based on the texture feature of LBP and wavelet[J]. Journal of Image and Graphics， 2010， 15（5）：742-748.）

[6]OLIVA A， TORRALBA A. Modeling the shape of the scene： a holistic representation of the spatial envelope[J]. International Journal of Computer Vision， 2001， 42（3）： 145-175.

[7]SIVIC J， ZISSERMAN A. Video Google： a text retrieval approach to object matching in videos[C]// Proceedings of the 9th IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2003：1470-1478.

[8]BOLOYINOU A， PRATIKAKIS I， PERANTONIS S. Bag of spatiovisual words for context inference in scene classification[J]. Pattern Recognition， 2013， 46（3）： 1039-1053.

[9]SHAO W， YANGW， XIA G S， et al. A hierarchical scheme of multiple feature fusion for highresolution satellite scene categorization[C]// Proceedings of the 9th International Conference on Computer Vision Systems. Berlin： SpringerVerlag， 2013： 324-333.

[10]YU J， TAO D， RUI Y， et al. Pairwise constraints based multiview features fusion for scene classification[J]. Pattern Recognition， 2013， 46（2）： 483-496.

[11]肖保良. 基于Gist特征與PHOG特征融合的多類場景分類[J]. 中北大學學報（自然科學版）， 2014， 35（6）：690-694.（XIAO B L. Multiclass scene classification based on fusion of Gist feature and PHOG feature[J]. Journal of North University of China （Natural Science Edition）， 2014， 35（6）：690-694.）

[12]劉帥，李士近，馮鈞. 多特征融合的遙感圖像分類[J]. 數(shù)據(jù)采集與處理， 2014， 29（1）：108-115.（LIU S， LI S J， FENG J. Remote sensing image classification based on adaptive fusion of multiple features[J]. Journal of Data Acquisition and Processing， 2014， 29（1）：108-115.）

[13]OJALA T， PIETIKAINEN M， HARWOOD D. A comparative study of texture measures with classification based on feature distributions[J]. Pattern Recognition， 1996， 29（1）： 51-59.

[14]OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution grayscale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971-987.

[15]ZHAO G， AHONEN T， MATAS J， et al. Rotationinvariant image and video description with local binary pattern features[J].IEEE Transactions on Image Processing， 2012， 21（4）： 1465-1477.

[16]SETIAWAN A S， WESLEY J， PURNAMA Y. Mammogram classification using Laws texture energy measure and neural networks[J]. Procedia Computer Science， 2015， 59： 92-97.

[17]KHAN R， HANBURY A， STOTTINGER J， et al. Multiple color space channel fusion for skin detection[J]. Multimedia Tools and Applications， 2014， 72（2）： 1709-1730.

[18]李強. 手部特征識別及特征級融合算法研究[D]. 北京： 北京交通大學，2006：2-15.（LI Q. Research on handmetric recognition and feature level fusion method[D]. Beijing： Beijing Jiaotong University， 2006：2-15.）

[19]DEZERT J. Foundations for a new theory of plausible and paradoxical reasoning[J]. Information & Security， 2002， 9（1）：13-57.

[20]SMARANDACHE F， DEZERT J. Advances and Applications of DSmT for Information Fusion[M]. Rehoboth： American Research Press， 2006：36-50.

[21]DEZERT J， LIU Z， MERCIER G. Edge detection in color images based on DSmT[C]// Proceedings of the 14th IEEE International Conference on Information Fusion. Piscataway， NJ： IEEE， 2011： 1-8.

[22]TCHAMOVA A， DEZERT J. Intelligent alarm classification based on DSmT[C]// Proceedings of the 6th IEEE International Conference on Intelligent Systems.